Koruyucu sınırlar

Koruyucu sınırlar (guardrails), modelin içinde değil çevresinde çalışan kontrollerdir. Hangi bağlamın girebileceğine, hangi çıktının çıkabileceğine, hangi araçların çağrılabileceğine ve modelin ne kadar emin olduğundan bağımsız olarak hangi eylemlerin yasak olduğuna karar verirler.

Neden modelin içinde duramazlar

Bir modelin davranışını eğitim şekillendirir ve alışılmadık bir girdi onu kaydırabilir. Koruyucu sınır koddur: ya geçmiştir ya geçmemiştir ve sonucu sonradan incelenebilir. Her seferinde geçerli olması gereken her şey, yani bir onay limiti, yasak bir eylem ya da bir veri sınırı, deterministik katmanda durmalıdır. Çünkü “model bunu yapmamak üzere eğitildi” bir kontrol değildir.

Uygulamada nasıl görünürler

Girdi kontrolleri: bu veri bu iş için kullanılabilir mi, isteyen yetkili mi, hassas içerik işlenmeden önce çıkarıldı ya da tokenize edildi mi. Çıktı kontrolleri: yanıt şemasına uyuyor mu, dayandığını söylediği kanıta atıf yapıyor mu, izin verilen eylem kümesinin içinde kalıyor mu. Son kontroller: bu eylem devredilmiş limiti aşıyor mu, gereken bir kanıt eksik mi, bir durma koşulu devreye girdi mi.

Ne değildirler

Koruyucu sınırlar zayıf bir sistemi güvenli yapmaz. Hatayı sınırlarlar; bu, onu önlemekten farklıdır. Modeli her iki seferden birinde yanılan ve koruyucu sınırları bu yanlışı yakalayan bir sistem, her iki seferden birinde duran bir sistemdir: doğru biçimde ama işe yaramaz biçimde. Kalite tasarımdan gelir; koruyucu sınırlar onun limitlerini uygulanabilir kılar.