Çapraz entropi kaybı veya log kaybı(log loss), çıktısı 0 ile 1 arasında bir olasılık değeri olan bir sınıflandırma modelinin performansını ölçer. Bu makine öğrenmesi modeline örnek olarak lojistik regresyon verilebilir. Tahmin edilen olasılık asıl değerden uzaklaştıkça çapraz entropi kaybı artar. Yani gerçek gözlem etiketi 1 olduğu zaman .012 olasılığının kötüye gideceği ve bunun yüksek bir kayıp değerine yol açacağı tahmin edilir. Mükemmel bir modelde, 0 log kaybı olur.

Log kaybının doğru tahminler üretildiğindeki grafiğine bakalım. Tahmin edilen olasılık azaldığında, log kaybının da azaldığını görebiliriz.

Log loss graph.png

  • Doğruluk (accuracy), öngörülen değerin gerçek değere eşit olduğu tahminlerin sayısıdır. Doğruluk, evet ya da hayır sonuçları olan bir model için her zaman iyi bir ölçüm değildir.
  • Log kaybı (log loss), tahminin gerçek değerinden ne kadar değişiklik gösterdiğine bağlı olarak belirsizliğini hesaba katar. Bu, modelimizin performansına daha nüanslı bir bakış açısı kazandırır.

Log kaybı ve çapraz entropi, içeriğe bağlı olarak biraz farklıdır, fakat 0 ile 1 arasında hata oranlarını hesaplarken makine öğrenmesinde aynı şeyi çözerler.

Çapraz Entropi:

Cross entropy formula.png

Log Kaybı:

  •  İkili sınıflandırmada:

-{(y\log(p) + (1 - y)\log(1 - p))}

  • Çoklu sınıflandırmada:

-\sum_{c=1}^My_{o,c}\log(p_{o,c})

 

 

Referans:

https://en.m.wikipedia.org/wiki/Cross_entropy

https://en.wikipedia.org/wiki/Loss_functions_for_classification

http://wiki.fast.ai/index.php/Log_Loss 

 

Designed by Freepik