Tercih optimizasyonu

Tercih optimizasyonu çiftler üzerinden eğitir: aynı girdi için bu çıktı, öbürüne tercih edilir. Doğrudan tercih optimizasyonu gibi yöntemler, insan geri bildiriminden pekiştirmeli öğrenmenin gerektirdiği ayrı ödül modeline ihtiyaç duymadan bu karşılaştırmalardan öğrenir.

Neden örnek değil de karşılaştırma

Bazı nitelikleri değerlendirmek kolay, tarif etmek zordur. Bir açıklamanın inceleyen kişi için yeterince eksiksiz olup olmadığı, bir önerinin belirsizliğini dürüstçe belirtip belirtmediği, ilgili kişiye aktarma mesajının sonraki kişinin ihtiyaç duyduğunu içerip içermediği: Alan uzmanı iki adayı saniyeler içinde sıralayabilir ama kuralı yazmakta zorlanır. Tercih verisi bu yargıyı doğrudan yakalar.

Yapmaya değmesi için neler gerekir

Gerekenler: yargıya gerçekten sahip olan inceleyiciler, tekil örnekler değil temsil edici olacak kadar çok karşılaştırma ve optimize edilen niteliği ölçen, ayrılmış test verisi üzerinde bir değerlendirme. Bunlar yoksa tercih optimizasyonu, etiketlemeyi tesadüfen kim yaptıysa onun tercihlerini modele işler. Bu da davranışa hiç dokunmamaktan daha kötüdür.

Ne değildir

Politikayı modele yerleştirmenin yolu değildir. Onay limitleri, izinler, devredilmiş yetki ve durma koşulları, incelenebilir kontroller olarak modelin dışında kalır. Tercih optimizasyonundan geçmiş model daha iyi bir inceleme paketi yazabilir; tercihlerle eğitildi diye herhangi bir şeyi onaylama hakkını kazanmaz.