Ajanınızın belleğe ihtiyacı var mı?

Bir dil modeli iki çağrı arasında hiçbir şeyi hatırlamaz. Bir ajanda bellek gibi görünen her şey, sistemin sakladığı ve sonraki bir adımda yeniden modelin önüne koyduğu veridir. Bir araştırma sistemi olan MemGPT tam da bu kısıttan yola çıkar: sınırlı bağlam penceresi. Bilgiyi küçük bir çalışma bağlamı ile daha büyük depolar arasında taşır; tıpkı bir işletim sisteminin veriyi hızlı ve yavaş bellek arasında taşıması gibi.

Bu yüzden bellek bir model özelliği değil, bir veri kararıdır. Sorular şunlardır: ne saklanır, ne kadar süre saklanır, kim okuyabilir ve nasıl silinir. İlk soru ise ajanın belleğe hiç ihtiyacı olup olmadığıdır.

Üç tür bellek ve varsayılan

Bellek yok. Her istek kendi başına durur: bir belgeyi sınıflandırmak, belirli alanları çıkarmak, bir dosyadan yanıt taslağı yazmak. Hiçbir şey bir sonrakine taşınmaz; bu yüzden hiçbir şey bir sonraki isteğe sızamaz ve sonradan silinmesi gereken bir şey kalmaz. İşin izin verdiği yerde en güvenli tasarım budur.

Dosya belleği. Açık olduğu sürece tek bir dosyanın durumu: toplanan belgeler, araç sonuçları, başvuru sahibine gönderilen sorular, dosyanın neyi ve kimden beklediği. Bu bellek vardır, çünkü iş günler ve birçok adım sürer; ajan kaldığı yerden devam etmek zorundadır. Dosya kapanınca o da kapanır.

Uzun süreli bellek. Bir dosyadan ötekine taşınan bilgi: ajanın bir müşteri hakkında öğrendikleri, bir kullanıcının gösterdiği bir tercih, önceki bir hatadan çıkarılan ders. Araştırma sistemleri bunun ne kadar ileri gidebileceğini gösteriyor. Generative Agents mimarisi, her ajanın deneyimlerinin eksiksiz kaydını doğal dilde saklar, bunu daha üst düzey yansımalara dönüştürür ve plan yapmak için geri getirir. Bir simülasyonda amaç zaten budur. Bir kurumda ise bu, bir dosyada öğrenilen bir bilginin sessizce başka bir dosyayı etkilemesi ve kişisel verinin ana kayıt sisteminin dışında birikmesi demektir.

Çoğu iş yalnızca dosya belleği ister

Bir kredi dosyasında, bir hasar dosyasında, bir tedarikçi kabulünde ya da bir kalite incelemesinde işin birimi dosyadır. Ajanın bilmesi gerekenler dosyadan, kurumun bilgi birikiminden ve sistemlerinden gelir. Bunların her birinin, ajanın uzun süreli belleğinden daha iyi bir yeri zaten vardır.

• Bilgi, kaynağı ve sürümüyle birlikte, güncellenebileceği ve kaynak olarak gösterilebileceği bir bilgi erişimi dizininde durur.
• Politika, modelin dışında, sahibi kurum olan yazılı kurallarda durur.
• Müşteri bilgileri ana kayıt sisteminde durur: çekirdek bankacılıkta ya da müşteri ilişkileri yönetimi (CRM) sisteminde. Bir araç üzerinden, bir kişiye uygulanan erişim kontrollerinin aynısıyla okunur.

Uzun süreli bellek ancak adı konmuş, dar bir kalem için yer kazanır: inceleyenin kabul ettiği bir gerekçesi, bir sahibi ve bir bitiş tarihi olmalıdır. Bir kullanıcının seçtiği rapor düzeni buna uyabilir. “Ajanın geçen ay gördüğü her şey” uymaz.

Bellek bir kayıttır

Dosya belleğini akıp giden bir konuşma dökümü olarak değil, dosya kaydının bir parçası olarak ele alın. Her girdi yapılandırılmıştır: ne saklandığı, nereden geldiği (bir belge, bir araç çağrısı, bir kişi), ne zaman saklandığı ve hangi adımın yazdığı. Depoya yalnızca ekleme yapılır (append-only). Bir düzeltme, düzelttiği girdiyi gösteren yeni bir girdidir; böylece inceleyen kişi ajanın her adımda ne bildiğini ve neden öyle davrandığını görebilir.

Ajan yalnızca üzerinde çalıştığı dosyaya yazar. Başka bir dosyanın belleğini okuyamaz. Bir müşterinin belleği, başka bir müşteriye hizmet veren bir sistemi asla eğitmez, onu beslemez de.

Bir şey saklamadan önce dört soru

1. Ne saklanır? Ajanın okuduğu her şey değil, sonraki adımın ihtiyaç duyduğu alanlar. Kaynak belgenin kopyası yerine ona bir referans saklayın; bir bilginin nereden geldiğini kaybettiren serbest metin özetlerden kaçının.
2. Ne kadar süre? Saklama süresini dosyaya ve kurumun kendi saklama takvimine bağlayın. “Biri silene kadar” bir takvim değildir.
3. Kim okuyabilir? Dosyayı okuyabilen kişiler ve roller ile o dosya üzerinde çalışan ajan. Başka hiç kimse; diğer ajanlar da dâhil.
4. Nasıl silinir? Silme her kopyaya ulaşmalıdır: bellek deposu, onun üzerine kurulmuş her arama dizini, onu kaydetmiş loglar ve kendi takvimleri içinde yedekler. Silmeyi diğer her özelliği test ettiğiniz gibi test edin: bir dosyayı silin ve ondan hiçbir şeyin artık geri getirilemediğini kontrol edin.

Kişisel veri ve saklama süresi

Ajan belleği kişisel veriyle çabuk dolar: adlar, kimlik numaraları, gelir, bir sigorta hasarında sağlık bilgileri. Türkiye'de 6698 sayılı Kişisel Verilerin Korunması Kanunu (KVKK), 4. maddesinde genel ilkeleri belirler. Bunlar arasında kişisel verilerin “işlendikleri amaçla bağlantılı, sınırlı ve ölçülü olma” ilkesi ve ilgili mevzuatta öngörülen ya da işlendikleri amaç için gerekli olan süre kadar saklanması da vardır. 7. madde ise işlenmesini gerektiren sebeplerin ortadan kalkması hâlinde kişisel verilerin silinmesini, yok edilmesini veya anonim hâle getirilmesini öngörür.

Bu not hukuki danışmanlık değildir. Kurumun yükümlülüklerinin neler olduğuna kurumun hukuk birimi ve veri koruma birimi karar verir. Tasarımın işi, onların kararlarını uygulanabilir kılmaktır: az sayıda alan, dosyaya bağlı saklama süresi, gerçekten her şeyi kaldıran bir silme ve kurumun kendi ortamında kalan bir bellek deposu.

Kısaca karar

Belleksiz başlayın. İş birden çok adıma ya da güne yayılıyorsa dosya belleği ekleyin. Uzun süreli bir kalemi yalnızca bir adı, bir gerekçesi, bir sahibi ve bir bitiş tarihi olduğunda ekleyin. Ne saklarsanız saklayın, onu bir inceleyiciye göstermekten çekinmeyeceğiniz bir kayıt olarak saklayın ve nasıl silindiğini tam olarak bilin.