Kayma izleme

Kayma izleme (drift monitoring), bir sistemin şu anda gördüğü ve yaptığı şeyleri, değerlendirilip onaylandığı koşullarla karşılaştırır. Fark yeterince açılınca bir değişiklik kararı gündeme gelir. Bunu sistem kendi başına karar vererek yapmaz; eşik aşıldığında konu bir sahibine yönlendirilir.

Üç şey birbirinden ayrı kayar

Girdi kayması: popülasyon değişti. Yeni segmentler, yeni kanallar, yeni belge biçimleri, eğitim döneminin hiç içermediği mevsimsel bir değişim.

Davranış kayması: modelin çıktıları, aynı girdilere göre değişti. Genellikle altta bir şey güncellendiği için olur: temel model sürümü, gömme modeli (embedding model), belge dizini ya da istem.

Ortam kayması: karar, modelin çevresinde değişti. Yeni politika, yeni limitler, yeni bir ürün, bir mevzuat değişikliği. Model tam olarak onaylandığı işi yapıyor; ama bu artık doğru iş değil.

Eşik aşımı ne demektir

Eşik aşımı bir incelemenin başlangıcıdır; ne bir hüküm ne de otomatik yeniden eğitimdir. Aşım bir dosya oluşturur: neyin kaydığı, ne zamandan beri, sonraki hangi kararlara dokundu, veri kalitesi kanıtı ne diyor, seçenekler neler. Buradan sonrasına model sahibi, kurumda varsa bağımsız doğrulama ve yönetişim makamı birlikte karar verir.

Neden bir işletme gereğidir

Hiç izlenmeyen bir model işletilmiş sayılmaz; yalnızca iyi gitmesi umulur. İzleme, eskiyen bir sistemle bakımı yapılan bir sistem arasındaki farkı yaratır.