Değerlendirme testleri (evals)
Bir sistemi, yapılacak işin üzerinde anlaşılmış kabul koşullarına göre ölçmek için kullanılan temsil edici testler ve inceleme ölçütleri.
Kategori
Sistemi denetimde tutan nedir
İlgili terimler
Değerlendirme testleri (evals), temsil edici örneklerden kurulan ve puanlanan test setleridir. Modelle, sistemle ve canlıya geçişle ilgili önemli kararlar için kanıt sağlarlar. Hangi setin kullanılacağı ve kabul eşiği, Karar Planı'nda, sonucun sahibi olan uzmanla birlikte belirlenir. Devir koşulları, müşterinin seti nasıl çalıştırıp genişletebileceğini yazılı olarak belirtir.
Değerlendirme testleri neden her şeyden önce gelir
Tekrarlanabilir bir değerlendirmesi olmayan bir ajan sistemi, kolayca tekil olaylara bakılarak yargılanır: iyi giden bir demo ya da bir üst yöneticiye ulaşan bir şikâyet gibi. İşe yarar bir değerlendirme testi, önemli davranışı incelenebilir kanıta çevirir. Canlıya geçiş için ilgili değerlendirme, güvenlik, operasyon ve operatör kabul koşullarının hepsi aranmalıdır. Tek bir toplam skor yetmez.
İyi bir değerlendirme testi nasıl görünür
İşe yarar bir değerlendirme testi temsil edici örneklerden kurulur. Güvenilir olduğu yerde otomatik puanlanır, sonucun sahibi olan operatör de gözden geçirir. Test katmanlıdır: hızlı kontroller sıklıkla çalışır, daha geniş regresyon setleri önemli sürümler için çalışır. Devir kapsamı, ilgili test paketini ve aynı koşulları gelecekteki değişikliklere uygulama talimatlarını içerir.
Sık karıştırılanlar
değerlendirme testleri (evals) ile karşılaştırma
| değerlendirme testleri (evals) | Karşılaştırılan | Fark nedir |
|---|---|---|
| Değerlendirme testleri | Kıyaslama testleri (benchmark) | Herkese açık kıyaslama testleri genel yetenekleri karşılaştırır. Canlıya alınacak sistemin değerlendirme testleri ise yapılacak işten gelen temsil edici vakaları ve riskleri sınar. İşletme kanıtı ve uzman incelemesi de yine gereklidir. |
Bu terimleri kendi kararlarınızdan biri üzerinde birlikte ele almak ister misiniz? Karar Planı ile başlayın