Karışıklık Matrisi

Bir karışıklık matrisi, gerçek değerlerin bilinmekte olduğu bir dizi test verisi üzerinde bir sınıflandırma modelinin performansını tanımlamak için sıklıkla kullanılan bir tablodur (veya “sınıflandırıcı”). Karmaşıklık matrisini anlamak kolaydır, ancak terminolojisi kafa karıştırıcı olabilir.

Bir ikili sınıflandırıcı için bir örnek karışıklık matrisiyle başlayalım (ancak birden fazla sınıfın olması durumunda kolayca genişletilebilir):

İkili sınıflandırıcı için örnek karışıklık matrisi

karisiklikmatrisi1.png

 

Bu Matristen Ne Öğrenebiliriz?

Tahmini iki sınıf vardır: “evet” ve “hayır”. Örneğin, bir hastalığın varlığını önceden tahmin edersek “evet” hastalığa yakalanmış oldukları anlamına gelir ve “hayır” hastalığa yakanılmadığı anlamına gelebilir.
Sınıflandırıcı toplam 165 tahmin yapmış.
Bu 165 olayın içinde sınıflandırıcı 110 kez “evet” ve 55 kez “hayır” tahmin etmiş.

Şimdi en temel terimleri tanımlayalım:

Gerçek Pozitifler (TP): Bunlar evet tahmin ettiğimiz vakalardır (hastalıkları vardır) ve hastalıkları vardır.
Gerçek Negatifler (TN): Hayır öngördük ve hastalığı yok.
Yanlış Pozitifler (FP): Evet tahmin ettik, ancak aslında hastalığı yok. (“Tip I hatası” olarak da bilinir)
Yanlış Negatifler (FN): Hayır öngördük ama aslında hastalığa sahipler. (“Tip II hata” olarak da bilinir.)

İkili sınıflandırıcı için örnek karışıklık matrisi

karisiklikmatrisi2

 

Bu, genellikle bir ikili sınıflandırıcı için bir karışıklık matrisinden hesaplanan oranlar listesidir:

  • Doğruluk (Accuracy Rate): Genel olarak, sınıflayıcı ne sıklıkta düzeltilir?
    (TP + TN) / toplam = (100 + 50) / 165 = 0.91
  • Yanlış Sınıflandırma Oranı (Misclassification Rate): Genel olarak, ne sıklıkta yanlış?
    (FP + FN) / toplam = (10 + 5) / 165 = 0.09
    1 eksi doğrulukla eşdeğerdir.
    “Hata Oranı” olarak da bilinir.(“Error Rate”)
  • Doğru Olumlu Hız (True Positive Rate): Aslında evet olduğunda, evet ne sıklıkta öngörülebilir?
    TP / gerçek evet = 100/105 = 0.95
    “Hassasiyet” veya “Hatırlama” olarak da bilinir.(“Sensitivity” or “Recall”)
  • Yanlış Olumlu Hız (False Positive Rate): Aslında hayır olduğunda, evet ne sıklıkta öngörülebilir?
    FP / gerçek no = 10/60 = 0.17
  • Özgüllük (Specificity:): Aslında hayır olduğunda, ne kadar sıklıkla hayır diyeceksiniz?
    TN / gerçek no = 50/60 = 0.83
    1 eksi yanlış Pozitif Orana eşdeğer
  • Hassasiyet (Precision): Evet tahmininde bulunduğunda, ne sıklıkta düzeltilir?
    TP / tahmini evet = 100/110 = 0.91
  • Yaygınlık (Prevalence): Örneklemimizde evet durumu ne sıklıkta ortaya çıkmaktadır?
    Gerçek evet / toplam = 105/165 = 0.64

Birkaç diğer terim de değinmeye değer:

  • Olumlu Tahmin Edici Değer (Positive Predictive Value): Bu, yaygınlık dikkate alınması dışında hassasiyetle çok benzerdir. Sınıfların mükemmel şekilde dengelenmesi durumunda (yaygınlık %50 olduğu anlamına gelir), pozitif öngörme değeri (PPV) hassasiyetle eşdeğerdir.
  • Null Hata Oranı (Null Error Rate): Çoğunluk sınıfını hep öngördüyseniz, bu sıklıkta yanlış olur. (Örneğimizde, boş hata oranı 60/165 = 0.36 olur, çünkü her zaman evet tahmin ettiyseniz, yalnızca 60 “hayır” vakası için yanlıştır.) Bu, sınıflandırıcınızı karşılaştırmak için yararlı bir temel metrik olabilir. Bununla birlikte, Doğruluk Paradoksu tarafından gösterildiği gibi, belirli bir uygulama için en iyi sınıflandırıcı bazen boş hata oranından daha yüksek bir hata oranına sahip olacaktır.
  • Cohen’s Kappa: Sınıflandırıcının aslında ne kadar iyi performans gösterdiğinin bir ölçüsüdür. Diğer bir deyişle, doğruluk ve boş hata oranı arasında büyük bir fark varsa, bir modelin yüksek bir Kappa puanı olacaktır.
  • F Puan (F Score): Bu, gerçek olumlu oranın (recall) ve hassasiyetin ağırlıklı ortalamasıdır.
  • ROC Eğrisi (ROC Curve): Bu, sınıflandırıcının tüm olası eşikler üzerinde performansını özetleyen sık kullanılan bir grafiktir. Belirli bir sınıfa gözlem atanması eşiğini değiştirdiğinizde Yanlış Olumlu Orana (x ekseni) karşı Gerçek Olumlu Oranı (y ekseni) çizerek oluşturulur.