Bir makine öğrenmesi algoritmasını uyguladıktan sonra bir sonraki adım, veri kümelerine dayanan modelin ne kadar etkili olduğunu bulmaktır.

Farklı Makine Öğrenmesi Algoritmalarını değerlendirmek için farklı performans metrikleri kullanılır. Örneğin, farklı nesnelerin görüntüleri arasında ayrım yapmak için kullanılan bir sınıflandırıcı; Log-Loss, Average Accuracy, AUC, vb. Gibi sınıflandırma performans metriklerini kullanabiliriz.

Makine öğrenme modeli bir hisse senedi fiyatını tahmin etmeye çalışıyorsa, RMSE verimliliğini hesaplamak için kullanılabilir.

Makine öğrenme algoritmalarının değerlendirilmesi için bir metrik örneği, öncelikle arama motorları tarafından kullanılan algoritmaları sıralama için kullanılabilen hassas hatırlama veya NDCG‘dir.

Bu nedenle, farklı algoritmaların verimliliğini ölçmek için veri kümesine bağlı olarak farklı metrikler gereklidir.

Verileri Test Etme

Bir makine öğrenmesi modelinin performansını değerlendirirken bir sonraki önemli soru, model performansını değerlendirmek için hangi veri kümesinin kullanılması gerektiğidir. Makine öğrenmesi modeli, eğitim seti kullanılarak basitçe test edilemez, çünkü çıktı, önyargılı olur, çünkü makine öğrenmesi modeli eğitimi boyunca, tahmin edilen sonucu önceden eğitim veri setine ayarlamıştır. Dolayısıyla, genelleme hatasını tahmin edebilmek için modelin henüz görmediği bir veri kümesini test etmesi gerekir; Test veri kümesi.

Bu nedenle, modelin test edilmesi amacıyla, etiketli bir veri kümesi gerekir. Bu, eğitim veri setini eğitim veri setine ve test veri setine bölerek başarılabilir. Bu, k-kat çapraz doğrulama, jackknife yeniden örnekleme ve önyükleme gibi çeşitli tekniklerle başarılabilir. A / B testi gibi teknikler, gerçek kullanıcı etkileşiminden gelen tepki karşısında üretimdeki makine öğrenmesi modellerinin performansını ölçmek için kullanılır.

Confusion Matrix

Performans Ölçütleri

Metrikler

Daha Derli Toplu Sunmak Gerekirse:

Model Değerlendirmesi: Tahminlerin Kalitesinin Nicelleştirilmesi

Sınıflandırma Metrikleri

  1. İkiden çok katlı ve çok etiketli
  2. Doğruluk puanı
  3. Cohen’in kappa
  4. Karışıklık matrisi
  5. Sınıflandırma raporu
  6. Hamming loss
  7. Jaccard benzerlik katsayısı skoru
  8. Hassasiyet, geri çağırma ve F-puanı
  9. Hinge kaybı
  10. Log kaybı
  11. Matthews korelasyon katsayısı
  12. ROC Eğrisi (ROC)
  13. Zero one loss
  14. Brier score loss

Çok etiketli sıralama metrikleri

  1. Kapsama hatası
  2. Etiket sıralamasında ortalama hassasiyet
  3. Sıralama kaybı

Regresyon metrikleri

  1. Açıklanan varyans puanı
  2. Ortalama mutlak hata
  3. Ortalama kareli hata
  4. Ortanca mutlak hata
  5. R² puanı, belirleme katsayısı

Kümeleme metrikleri

Kukla tahminciler

Designed by Freepik