Model yönlendirme
Her adımı hangi model sınıfının çalıştıracağını seçmek; böylece maliyet ve gecikme, zorluğun gerçekten olduğu yere yüklenir.
Kategori
Bir model nasıl seçilir ve uyarlanır
İlgili terimler
Model yönlendirme, tek bir model seçip her yerde kullanmak yerine, sistemin her adımını hangi model sınıfının çalıştıracağına karar vermektir.
Ticari olarak neden önemli
Aynı iş akışındaki adımların zorluğu çok farklıdır. Bir belgenin türünü sınıflandırmak, sabit bir alanı çıkarmak ve belirsiz bir istisnayı tartmak aynı problem değildir. Model katmanları arasındaki fiyat farkı, çağrı başına iki büyüklük mertebesine varabilir. Her adımda en pahalı modelini kullanan bir sistem, çoğu zaman bu farkı, buna hiç ihtiyaç duymamış çağrıların çoğunluğunda öder. Değerlendirilmiş bir pilotu canlı hacimde ekonomi sorununa çeviren de budur.
Seçim nasıl yapılır
Seçim, kıyaslama tablosundan değil, adım başına değerlendirme testlerinden yapılır. Soru, daha ucuz bir sınıfın o adımın gerçek girdilerinde kabul edilebilir sonuç verip vermediğidir. Çoğu zaman verir, çünkü adım dardır. Vermediği yerde doğru cevap pahalı modeldir; maliyetini de gerçekten aldığı çağrı sayısı haklı çıkarır.
Modelsiz adım
Yönlendirme, hiçbir yere yönlendirmeme seçeneğini de içerir. Aritmetik, eşik kontrolleri, şema doğrulama ve politika değerlendirmesi kod olarak daha doğru, daha hızlı, daha ucuz ve denetlenmesi daha kolaydır. Bu yola bir model koymak yeni bir hata türü ekler ve denetim izini ortadan kaldırır.
Ne değildir
Yönlendirme, yedek yol (fallback) değildir. Küçük model başarısız olunca daha büyük modelde yeniden deneyen bir kademe, farklı ekonomisi olan farklı bir mekanizmadır. Geliştirmeye değmesi için, neyin başarısızlık sayılacağını gösteren güvenilir bir işarete ihtiyaç duyar.
Sık karıştırılanlar
model yönlendirme ile karşılaştırma
| model yönlendirme | Karşılaştırılan | Fark nedir |
|---|---|---|
| Model yönlendirme | Model seçimi | Model seçimi, bir sistem için tek bir model seçer. Model yönlendirme ise tek bir sistemde zorluğu çok farklı adımlar olduğunu kabul eder ve her birini ihtiyacına uygun modele eşler. |
| Küçük modele yönlendirme | Hiçbir modele yönlendirmeme | En ucuz ve en güvenilir adım çoğu zaman içinde hiç model olmayan adımdır. Aritmetik, eşikler ve politika kontrolleri kodda durur. |
Bu terimleri kendi kararlarınızdan biri üzerinde birlikte ele almak ister misiniz? Karar Planı ile başlayın