Küçük dil modeli (SLM)

Küçük dil modeli (SLM), tek bir alan ve tek bir görev için eğitilmiş bir dil modelidir: uzmanınız gibi okur ve akıl yürütür, doğru aracı doğru parametrelerle çağırır, vakanın hafızasını tutar ve sizin formatınızda yazar. O görevde çoğu zaman büyük genel bir modelle aynı işi görür. “Küçük” sözü göreceli ve her yıl değişir; donanım hiçbir zaman varsayılmaz, göreve göre boyutlandırılır.

Boyut neden bir tasarım kararıdır

Büyük model, kurumun bir işi için kendiliğinden doğru cevap değildir. İşin kapsamı genellikle dardır: tek bir belge türünü okumak, tek bir yapılandırılmış çıktı üretmek, onaylı tek bir araç kümesini çağırmak. Bu kapsama uyan model, verinin zaten durduğu yerde çalıştırılabilir. Daha ucuza değerlendirilir ve bir sağlayıcı sözleşmesini yeniden pazarlığa açmadan sürüm kontrolüyle yönetilir.

Boyut küçüldükçe genellik azalır. Büyük model belirsiz istemleri ve alışılmadık ifadeleri daha iyi tolere eder. Küçük model için işin, terimlerin ve çıktı sözleşmesinin tanımlanması gerekir. Zaten güvenilirliğin büyük kısmı bu tanım çalışmasından gelir.

SLM ne zaman uygun düşer

İşaretler şunlardır: iş sınırlıdır, belge türü sabittir, çıktı yapılandırılmıştır, gecikme önemlidir, veri ortamdan çıkamaz ya da canlı hacimde çağrı başına maliyet gerçek bir kısıttır. Bunlardan birkaçı bir arada olduğunda gerekçe güçlenir.

Aleyhte işaretler şunlardır: iş açık uçludur, girdi beklenmedik biçimlerde gelir ya da gereken muhakeme derinliği küçük boyutta, temsil edici bir değerlendirme setinde henüz gösterilmemiştir.

Neyin değişmediği

Küçük model, çevresindeki kontrolleri gevşetmez. Politika, kimlik, izinler, devredilmiş yetki ve durma koşulları model boyutu ne olursa olsun ağırlıkların dışında kalır. Model de aynı kabul kapılarına göre değerlendirilir. Temsil edici bir değerlendirmeyi geçemeyen SLM, işletmesi daha ucuz diye canlıya alınmaz.