Skor kartı mı, gradyan artırma mı? Kararı ayrılmış test verisi versin

Bir kredi riski yöneticisi haklı bir soru sorar: yeni başvuru modeli bir skor kartı mı olmalı, yoksa gradyan artırma (gradient boosting) ile kurulmuş bir model mi? Dürüst cevap şu: ikisi de önceden üstün sayılmaz. Lojistik regresyona dayalı bir skor kartı, gradyan artırmalı bir karar ağacı topluluğu, bir sinir ağı ya da bunları birleştiren karma bir model; her biri canlıya alınacak doğru model olabilir. Hangisinin doğru olduğu üç şeye bağlıdır: kurumun verisine, skorun modelden çıktıktan sonra ne iş göreceğine ve bağımsız doğrulama biriminin neyi görmesi gerektiğine. Seçim kanıta dayanır ve kanıtın birden fazla parçası vardır.

Bu soru neden hep yeniden gündeme geliyor?

Gradyan artırma, zengin ve düzensiz veride başvuranları çoğu zaman iyi sıralar; çünkü bir skor kartına ayrıca söylenmesi gereken etkileşimleri kendisi bulur. Skor kartı ise derli topludur, puanları satır satır okunur ve pek çok risk ekibinin onu izlemede yılların deneyimi vardır. İki cümle de aynı anda doğrudur. Bu yüzden soru tercihle çözülemez; tek bir test setindeki tek bir sayıyla da çözülmemelidir.

Önce testi kurun, sonra modelleri

Bir karşılaştırma ancak dayandığı veri kadar iyidir. Modellerden herhangi biri eğitilmeden önce üç örneklemi sabitleriz:

1. Geliştirme verisi: adayların kurulduğu ve ayarlandığı veri.
2. Aynı döneme ait ayrılmış test verisi: ayar sırasında hiç dokunulmaz; her adayın görmediği dosyaları nasıl sıraladığını gösterir.
3. Zaman dışı veri: daha sonraki bir dönemden gelir; portföy, ekonomi ya da süreç değiştikten sonra her adayın nasıl dayandığını gösterir.

ABD'nin güncellenmiş model risk yönetimi rehberi (SR 26-2; Federal Reserve, FDIC ve OCC, Nisan 2026) model testini “örneklem dışı ve zaman dışı testlerden alternatif varsayım ve yöntemlerin karşılaştırılmasına kadar” uzanan bir yelpaze olarak tanımlar. İşin biçimi budur: her aday aynı örneklemlerle, aynı kötü sonuç tanımıyla ve aynı performans penceresiyle sınanır.

Tek bir şeyi değil, beş şeyi karşılaştırın

Sıralama gücü. Eğri altındaki alan (AUC) ya da onun yeniden ölçeklenmiş biçimi olan Gini katsayısı, modelin kötüye giden dosyaları gitmeyenlerin üstüne ne kadar iyi dizdiğini söyler. Önemlidir. Ama yalnızca ilk sütundur.

Kalibrasyon. Kredi kararı yalnız bir sıralama değil, olasılık kullanır. İyi kalibre edilmiş bir model ondan bir diyorsa, bu tür dosyaların yaklaşık ondan biri temerrüde düşmelidir. Bir model iyi sıralayıp yine de kötü kalibre olabilir ve tek bir birleşik ölçüt bunu gizleyebilir. scikit-learn dokümantasyonu bunu şöyle belirtir: “örneğin daha düşük bir Brier kaybı, daha iyi kalibre edilmiş bir model anlamına gelmek zorunda değildir.” Yeniden kalibrasyon olasılıkları onarabilir; sıralamayı onaramaz.

İstikrar. Her adayın ayrılmış test verisindeki sonuçlarını zaman dışı sonuçlarıyla karşılaştırın. Skor dağılımının ve ana girdilerinin dönemler arasında ne kadar sabit kaldığına bakın. Geliştirmede kazanıp zaman dışında geri düşen bir aday, size nasıl yaşlanacağını anlatıyordur.

Gerekçeler. Reddedilen başvuran somut gerekçeleri bilmeyi hak eder. ABD'de Tüketici Finansal Koruma Bürosu'nun 2022-03 sayılı genelgesi, kredi verenlerin “bunu yapmak, olumsuz kararların somut ve doğru gerekçelerini veremeyecekleri anlamına geliyorsa karmaşık algoritmalar kullanamayacağını” söyler. Yerelde hangi kurallar geçerli olursa olsun, pratik test aynıdır: her adaydan bir ret örneklemi için gerekçe kodlarını üretin ve kredi ekibine okutun. Skor kartı gerekçeleri puanlarından verir. Ağaç topluluğu ise bir katkı açıklama (attribution) yöntemine ihtiyaç duyar. Onun gerekçelerinin yalnızca makul görünmesi yetmez; istikrarlı olduğu ve modeli doğru yansıttığı da kontrol edilmelidir.

Dokümantasyon. Bağımsız doğrulama birimi modeli sorgulayabilmelidir: kullanım amacı, veri ve veri kaynakları, yöntem ve sınırları, test sonuçları ve bu yöntemin neden ötekilere tercih edildiği. Bu düzeyde belgelenemeyen bir aday, Gini'si ne olursa olsun hazır değildir.

Neden tek bir ölçüt karar veremez?

Üç nedeni var. Birincisi, tek bir örneklemde AUC'deki küçük bir fark o örneklemin gürültüsü içinde kalabilir; zaman dışında korunmayan bir fark, fark değildir. İkincisi, ölçüt kararı değil modeli ölçer: AUC'si aynı iki aday, kurumun kesme noktasında farklı kişileri farklı kayıplarla onaylayabilir. Üçüncüsü, ölçüt kalibrasyon, gerekçeler, istikrar ya da modelin nasıl izleneceği hakkında hiçbir şey söylemez.

SR 26-2, gerekli uzmanlığa ve “nesnelliği korumaya yetecek bağımsızlığa” sahip kişilerin yaptığı “etkin sorgulamayı” (effective challenge) ister. Bu sorgulama tek bir sayıdan fazlasını gerektirir. Bu yüzden adayları kararın kendisinde de yan yana koyarız: politikanın düşündüğü kesme noktalarında her birinin neyi onaylayıp neyi reddettiği, beklenen zararı ve hangi başvuranların aralarında yer değiştirdiği. Takas kümesi, yani adaylardan birinin onaylayıp ötekinin reddettiği başvuranlar, raporun çoğu zaman en çok şey anlatan tablosudur. Çünkü kredi ekibi bu dosyaları okuyup hangi adayın onlar hakkında haklı olduğunu söyleyebilir.

Karma modeller ve dürüst orta yol

Seçim illa ya o ya bu olmak zorunda değildir. Bir skor kartı, önce gradyan artırmalı bir modelle bulunan aralıkları ve etkileşimleri kullanabilir. Gradyan artırmalı bir model, bir girdi arttıkça skor yalnızca tek yönde hareket edecek şekilde kısıtlanabilir. XGBoost dokümantasyonu bunu “artırmalı bir modelde kullanılan herhangi bir özelliğe monotonluk kısıtları uygulamak” diye tanımlar; bu da modelin gerekçelerini savunmayı kolaylaştırır. Davranışı farklı olan bir segment kendi modelini alabilir. Bunların her biri yeni bir adaydır ve aynı örneklemlerde aynı beş testten geçer.

Kuruma ne devredilir?

Seçilen model, onun veri hattı ve her adayı aynı örneklemlerde gösteren bir değerlendirme raporu: sıralama gücü, kalibrasyon, istikrar, örnek gerekçe kodları ve politikanın kesme noktalarındaki karşılaştırma. Dokümantasyon kurumun bağımsız doğrulaması için yazılır. Kanıtı biz hazırlarız; doğrulama birimi onu değerlendirir ve canlıya hangi yöntemin alınacağını kurum seçer.