İş akışı mı, ajan mı? Bir sonraki adımın değişip değişmediğine bakın

Bir ajan hakkında sorulacak yararlı soru, ne kadar yetenekli olduğu değildir. Asıl soru, işteki bir sonraki adımın, bir önceki adımın bulduğuna göre değişip değişmediğidir. Değişmiyorsa iş bir iş akışıdır; iş akışı da daha ucuzdur, test etmesi ve inceleyene açıklaması daha kolaydır.

Çok atıf alan bir mühendislik rehberi de çizgiyi aynı yerden çeker. İş akışları, dil modellerinin ve araçların önceden tanımlanmış kod yolları üzerinden düzenlendiği sistemlerdir. Ajanlar ise modelin kendi sürecini ve araç kullanımını kendisinin yönettiği sistemlerdir. Fark, yolu kimin seçtiğidir: sizin kodunuz mu, model mi?

Önce: bir modele hiç gerek var mı?

İş akışıyla ajan arasında seçim yapmadan önce bir kuralın, bir tablo sorgusunun ya da bir hesaplamanın yetip yetmediğini sorun. Bir eşik kontrolü, bir tarih karşılaştırması ya da bir listeyle eşleştirme dil modeli gerektirmez. “Ajan” etiketiyle gelen birçok süreç, içinde bir iki model adımı olan bir iş akışıdır; bazılarının ise hiç modele ihtiyacı yoktur.

Böylece tercih sırasına göre üç seçenek çıkar:

1. Bir kural ya da hesaplama, mantık eksiksiz yazılabiliyorsa.
2. Bir iş akışı, adımlar sabitse ama biri yapılandırılmamış bir girdi üzerinde muhakeme gerektiriyorsa; taranmış bir faturayı okumak ya da bir şikâyeti sınıflandırmak gibi.
3. Bir ajan, adımların sırası ve sayısı iş başlayana kadar bilinemiyorsa.

Yol hiç değişmediğinde

Fatura girişini ele alın. Belge okunur, alanlar çıkarılır, satın alma siparişi ve mal kabul kaydıyla eşleştirilir, toleranslar kontrol edilir, eşleşme kaydedilir ya da istisna yönlendirilir. Her fatura bu yoldan geçer. Okumayı ve alan çıkarmayı bir dil modeli yapabilir, ama bir sonraki adıma kod karar verir.

Bu tasarımın, bir operasyon müdürünün değer verdiği özellikleri vardır. Her adım ayrı ayrı test edilebilir. Fatura başına maliyet öngörülebilir. Bir şey ters gittiğinde hatalı adım bellidir. İstisna kuyruğunda tam da bir kişinin görmesi gereken dosyalar bulunur.

Bunu bir ajana dönüştürmek maliyet ve değişkenlik ekler, karşılığında hiçbir şeyi ortadan kaldırmaz. Model, her seferinde aynı olan bir yolu seçmek için emek harcar.

Bir sonraki adım bulunana bağlı olduğunda

Şimdi bir tedarikçi durum tespiti (due diligence) dosyasını ele alın. Bir sonraki kontrolün ne olacağını tedarikçinin gönderdiği belgeler belirler. Sicil kaydıyla uyuşmayan bir ortaklık zinciri başka bir sorgu gerektirir. Benzer bir isimde çıkan yaptırım eşleşmesi kimlik kontrollerini başlatır. Eksik bir sertifika, tedarikçiye geri dönen bir talebe yol açar. Aynı haftadan iki dosya çok farklı yollar izleyebilir ve adım sayısı önceden bilinmez.

Burada sabit bir iş akışı her kombinasyon için bir dal ister ve dallar sonunda kötü yazılmış bir ajana dönüşür. Ajanların asıl yeri bu tür işlerdir. İlk tasarımlardan biri olan ReAct, akıl yürütmeyi ve eylemleri iç içe yürütür; böylece model eyleme geçerken planını izleyip güncelleyebilir ve attığı adımların izi sonradan okunabilir.

Bu durumda bile ajan hazırlar. Yaptırım eşleşmesini bir kişi kapatır. Ajan kanıtı toplar ve dosyayı o kişi için yazar.

Kendi dosyalarınızda yapabileceğiniz bir test

1. Masadan yakın zamanda kapanmış dosyalardan bir örneklem alın, zorlu olanlar da içinde olsun.
2. Uzmanın gerçekte attığı adımları yazın, sırasıyla ve her adımın ne bulduğuyla birlikte.
3. Adım sıralarını karşılaştırın. Aynıysalar ya da yalnızca birkaç bilinen ayrım noktasında farklılaşıyorlarsa bir iş akışı yazın. Sıra bulgulara göre sürekli değişiyorsa ajan bir aday olur.
4. Karma bir yapı arayın. Sık rastlanan cevap, içinde sınırları belli tek bir ajan adımı olan bir iş akışıdır; örneğin sabit bir giriş ve karar yolu ile istisnaları araştıran bir ajan.

Ajanla birlikte çalışma çerçevesi gelir

Ajan, yalnızca araçları olan bir model değildir. Yazılı bir çalışma çerçevesiyle (harness) gelir ve kurum denetimi bu çerçevede tutar. Çerçeve şunları adlandırır:

• ajanın çağırabileceği araçları ve her birinin erişimini; varsayılan olarak salt okunur;
• bir iş akışı olarak mı yoksa yazılı sınırlar içinde otonom mu çalıştığını;
• onay limitlerini: hangi eylemler için bir kişi gerektiğini ve bunun kim olduğunu;
• durma koşullarını: ne zaman durup dosyayı bir kişiye aktardığını;
• her adımın, girdinin, araç sonucunun ve çıktının kaydını.

Dil modeli uygulamalarına yönelik OWASP risk listesi, buradaki hataya aşırı yetki (excessive agency) adını verir ve üç kök neden sayar: aşırı işlevsellik, aşırı izinler ve aşırı özerklik. Önerdiği önlemler çalışma çerçevesiyle örtüşür: araçlara ihtiyaç duydukları en az izni verin ve yüksek etkili eylemlerde bir kişinin onayını şart koşun. Ajan kendine hiçbir zaman araç, izin ya da onay tanımaz. Otomatik sonuçlar yalnızca kurumun yazılı politikasının içinde, kurumun kendi motoru ya da süreci aracılığıyla gerçekleşir. Diğer her dosya adı belli bir kişiye gider.

Yanlış seçimin bedeli

İş akışının yeteceği yerde kurulan bir ajan, dosya başına daha pahalıdır, daha az öngörülebilir davranır, test etmesi ve denetlemesi daha zordur. Ajan gereken yerde kurulan bir iş akışı ise kimsenin bakımını yapamayacağı kadar dal üretir; başa çıkamadığı dosyalar yine de insanlara ulaşır, çoğu zaman da kanıtı toplanmadan.

Gerçek dosyaları karşılayan en basit tasarımla başlayın; döngüyü yalnızca dosyaların yolun değiştiğini gösterdiği yerde ekleyin.