İnsan döngüde mi, döngünün üstünde mi?

Bir ajanın başında kontrolü bir kişide tutmanın iki yolu vardır. Döngüde (in the loop), kişi bir adımı gerçekleşmeden önce onaylar. Döngünün üstünde (on the loop), ajan yazılı sınırlar içinde çalışır; kişi ise izler, her adımı görebilir ve onu durdurabilir.

Genel olarak ikisinden biri daha güvenli değildir. NIST'in Yapay Zekâ Risk Yönetimi Çerçevesi (AI RMF), insan-yapay zekâ yapılandırmalarının tamamen otonomdan tamamen manuele uzanabileceğini ve yapay zekâ sistemlerinin gözetiminde insan rollerinin açıkça tanımlanması gerektiğini belirtir. Yararlı olan, seçimi sistem bazında değil eylem bazında yapmak ve yazıya dökmektir.

Kararı iki soru verir

Ajanın yapabileceği her eylem için şunu sorun:

1. Yanlış bir adım neye mal olur? Para, bir müşteri için çıkan sonuç, kurumun düzenleyici karşısındaki durumu, bir üretim hattı.
2. Geri alınabilir mi, kim geri alabilir? Bir taslak silinebilir. Gerçekleşmiş bir ödeme bazen geri çevrilebilir. Müşteriye gönderilmiş bir mesaj geri alınamaz.

Yanıtlar eylemleri dört gruba ayırır:

• Ucuz ve geri alınabilir: bir belgeyi etiketlemek, kurum içi bir özetin taslağını yazmak ya da eksik bir belgeyi dosya sorumlusundan istemek gibi. Bunlar döngünün üstünde kalır. Kayıt her adımı gösterir ve bir kişi sonradan düzeltebilir.
• Ucuz ama geri alınamaz: dışarıya mesaj göndermek gibi. Onaya bağlayın ya da geri alınabilir olacak biçimde yeniden tasarlayın; örneğin kısa bir inceleme süresinin ardından gönderilmek üzere kuyruğa alarak.
• Maliyetli ama geri alınabilir: bir sevkiyatı bekletmek ya da bir dosyanın önceliğini değiştirmek gibi. Yalnızca sıkı yazılı sınırlar içinde döngünün üstünde; bir örneklem incelenir ve sınıra yaklaşan her şey için alarm verilir.
• Maliyetli ve geri alınamaz: her zaman döngüde. Bazı eylemler bir kişinin elinden hiç çıkmaz. Ajan hiçbir zaman kredi yetkisi taşımaz; hiçbir sigorta hasarını reddetmez, hiçbir yaptırım eşleşmesini kapatmaz ve hiçbir zaman şüpheli işlem bildirimi yapmaz. Bunların her birini, kararı veren kişi için hazırlar.

Sınırlar yazılıdır ve onları kurum yazar

Döngünün üstünde çalışmak ancak sınırlar açıkça yazılıysa işe yarar. Onları kurum yazar: hangi eylemler, hangi sistemlerde, hangi tutara ya da eşiğe kadar, kaç adım boyunca, ne kadar sürede. Ajan sınırlarını okur. Onları hiçbir zaman kendisi belirlemez ve genişletmez; bir dosya bunu gerektiriyor gibi görünse bile.

Sınırlar, modelden kurallara uymasını rica ederek değil, modelin dışında uygulanır: çalışma çerçevesinde (harness) ve her aracın izinlerinde. Salt okunur erişimi olan bir araç, model ne üretirse üretsin yazamaz. OWASP'ın aşırı yetki (excessive agency) rehberi de aynı iki noktayı vurgular: araçlara ihtiyaç duydukları en az izni verin ve yüksek etkili eylemleri gerçekleşmeden önce bir kişinin onayına bağlayın.

Durma koşulları

Döngünün üstündeki bir ajanın ne zaman duracağını bilmesi gerekir. Koşulları ajan çalışmadan önce yazın:

1. Bir sonraki adım bir yazılı sınırı aşacaksa.
2. Kanıt eksikse ya da kendi içinde çelişiyorsa.
3. Bir araç başarısız olursa ve yeniden deneme hakkı tükenmişse.
4. En fazla yineleme sayısı gibi bir adım bütçesine ulaşılmışsa.
5. İstek ajanın yazılı kapsamının dışındaysa.
6. Bir kişi durdur düğmesine basarsa.

Durmak başarısızlık değildir. Ajan durduğunda dosyayı, ne bulduğu, ne yaptığı ve neden durduğuyla birlikte adı belli bir kişiye aktarır. NIST çerçevesi tam olarak bu yeteneği ister: kullanım amacıyla tutarsız performans ya da sonuç gösteren yapay zekâ sistemlerini geçersiz kılmak, devreden çıkarmak ya da kapatmak için, sorumlulukları atanmış ve anlaşılmış mekanizmaların hazır olması.

İzlemeyi gerçek kılın

Döngünün üstünde çalışmak, ancak biri gerçekten izleyebiliyorsa gözetim sayılır. Bu da açık dosyaların canlı bir görünümü, her adımın ve araç sonucunun kaydı, sınıra yaklaşan dosyalar için alarmlar ve tamamlanmış dosyalardan bir örneklemin işi bilen biri tarafından düzenli olarak incelenmesi demektir.

Döngüde olmanın da kendine özgü bir hatası vardır. Her küçük adımı onaylaması istenen kişi kısa sürede okumayı bırakır ve alışkanlıkla onaylar. Önemli adımlara konmuş, kanıtı önüne serilmiş birkaç onay, önemsiz adımlara dağılmış çok sayıda onaydan daha iyi korur.

Bir eylemi bir moddan ötekine taşımak

Bir eylemi döngüde başlatın. Onu döngünün üstüne yalnızca kanıta dayanarak taşıyın: onay kaydı, onaylayanların ajanın önerilerine katıldığını ve yakaladıkları hataların ucuz ve geri alınabilir olduğunu göstermelidir. Taşıma kararı, yeni sınırı yazan kuruma aittir. Ajan kaydı raporlayabilir; kendisi için daha geniş bir sınır önermez ve uygulamaz.

Geri dönüş ise hemen olur. Yeni bir ürün, yeni bir kural ya da açıklanamayan bir hata gibi bir şey değişirse, eylem neden bulunana kadar yeniden onaya döner.

Kontrol listesi

• Ajanın yapabileceği her eylem, yanlışsa bedeli ve geri alınıp alınamayacağıyla birlikte listelenmiştir.
• Her eylem döngüde ya da döngünün üstünde olarak işaretlenmiş ve bu işaret yazıya geçirilmiştir.
• Sınırları kurum yazmıştır; çalışma çerçevesi ve araç izinleri onları uygular.
• Durma koşulları yazılmış ve test edilmiştir; dosyayı adı belli bir kişiye aktarır.
• Her adım kaydedilir ve kaydı biri inceler.