Tahmin Hassasiyetini Değerlendirme

metrik1.jpg

Ortalama Mutlak Hata (MAE) — Mean Absolute Error (MAE)

MAE, yönlerini dikkate almadan bir dizi tahmindeki hataların ortalama büyüklüğünü ölçer. Sürekli değişkenler için doğruluğu ölçer. Denklem kütüphane referanslarında verilmektedir. Sözcüklerle ifade edilen MAE, tahmini ile ilgili gözlem arasındaki farkların mutlak değerlerinin doğrulama örneğinin ortalamasını ifade eder. MAE tüm bireysel farklılıkların ortalamada eşit olarak ağırlıklandırıldığı anlamına gelen doğrusal bir skordur.

formul_mae2.jpg

Ortalama Kareli Hata (MSE) — Mean Squared Error (MSE)

İstatistikte , bir kestiricinin (gözlemlenmemiş bir miktarı tahmin etmek için bir prosedürün) ortalama kareli hatası ( MSE ) veya ortalama kareli sapma ( MSD ), hataların veya sapmaların karelerinin ortalamasını ölçer – ki bu tahmin ediciler arasındaki farktır ve tahmin edilmektedir.

MSE, karesel hata kaybının veya kuadratik kayıpların beklenen değerine karşılık gelen bir risk fonksiyonudur . Fark, rassallık nedeniyle veya tahmincinin daha doğru bir tahminde bulunabilecek bilgileri hesaba katmadığından kaynaklanır.  MSE, bir kestiricinin kalitesinin bir ölçüsüdür – her zaman negatif değildir ve sıfıra daha yakın değerler daha iyidir.

MSE, hatanın ikinci anıdır (orijin etrafında) ve dolayısıyla hem kestiricinin varyansını hem de önyargılarını içerir . Bir tarafsız tahmincide MSE, tahmincinin varyansıdır. Varyans gibi, MSE de tahmin edilen miktarın karesi ile aynı ölçüm birimlerine sahiptir. Standart sapmaya analog olarak, MSE’nin karekökünü alarak, tahmin edilen miktarla aynı birimlere sahip olan kök-ortalama karesel hata veya kök-ortalama-karekök sapmasını (RMSE veya RMSD) verir; Tarafsız bir tahmincide RMSE, standart sapma olarak bilinen varyansın kareköküdür.

formul_mse.gif

Kök Kareler Karesi (RMSE) — Root Mean Squared Error (RMSE)

RMSE, hata ortalama büyüklüğünü ölçen, ikinci dereceden bir puanlama kuralıdır. RMSE için denklem her iki referansta verilmiştir. Formülden sözcükleri ifade edersek, tahmini ile karşılık gelen gözlemlenen değerler arasındaki fark her biri kareler alınır ve daha sonra örnek üzerinde ortalanır. Sonunda, ortalamanın karekökü alınır. Hatalar ortalamadan önce kareler aldığından, RMSE, büyük hatalara nispeten daha fazla ağırlık verir. Bu, büyük hatalar özellikle istenmeyen olduğunda RMSE’nin en kullanışlı olduğu anlamına gelir.

MAE ve RMSE, bir dizi tahmindeki hataların varyasyonunu teşhis etmek için birlikte kullanılabilir. RMSE her zaman MAE’den daha büyük veya ona eşit olacaktır; Aralarındaki daha büyük fark, örneklemdeki bireysel hataların varyansının daha büyük olmasıdır. RMSE = MAE ise, tüm hatalar aynı büyüklüktedir

MAE ve RMSE, 0’dan ∞’a kadar değişebilir. Negatif yönelimli puanlar: Daha düşük değerler daha iyi.

formul_rmse.jpg

Ortalama Mutlak Yüzde Hatası (MAPE) — Mean Absolute Percent Error (MAPE)

Ortalama Absolute Percent Error (MAPE), tahmin hatasının en yaygın ölçütüdür. MAPE fonksiyonları, verilere aşırılık (sıfırlar dahil) olmadığında en iyi sonucu alır.

Sıfırlar veya sıfıra yakın bir yerde, MAPE hatanın çarpık bir resmini verebilir. Sıfırın hemen hemen altındaki bir öğedeki hata, sonsuza kadar yüksek olabilir, bu da ortalamada genel hata oranına bir çarpıklığa neden olur. Eşit olmayan veya sıfır noktalı öğelerin tahminleri için Simetrik Ortalama Mutlak Yüzde Hata (SMAPE) daha iyi ölçülür.

MAPE, her zaman periyodu için ortalama mutlak yüzdesi hatasıdır veya tahminler eksi gerçek değerlerin gerçek değerlere bölünmesiyle elde edilir:

formul_mape.png

Simetrik Ortalama Mutlak Yüzde Hatası (SMAPE) —  Symmetric Mean Absolute Percent Error (SMAPE)

Simetrik Ortalama Mutlak Yüzde Hata (SMAPE), öğeler için sıfır veya sıfıra yakın talep olduğunda Ortalama Mutlak Yüzde Hata (MAPE) alternatifidir. SMAPE, bu düşük hacimli öğelerin etkisini azaltarak,% 200’lük bir hata oranına kendini sınırlar. Düşük hacimli öğeler sorunludur, aksi halde genel hata oranını çarpıtan sonsuz yüksek hata oranlarına sahip olabilirler.

SMAPE, tahmini eksi gerçek değerleri, bu formülde ifade edilen tahminlerin ve fiili toplamlara bölünür:

formul_smape.png

Ortalama Mutlak Sapma Yüzdesi (MADP) — Mean Absolute Deviation Percent (MADP)

Ortalama Mutlak Sapma / Hata (MAD veya MAE) ve gerçeklerin ortalamasına böler. Hata yöntemleri arasında seçim yaparken MADP, hata oranlarının yaklaştığını veya sıfıra sapmamasını sağlamak için MAPE’ye tercih edilir. MADP aşağıdaki formüle göre temsil edilmektedir:formul_madp.png

Ortalama mutlak ölçekli hata (MASE) –Mean Absolute Scaled Error (MASE)

İstatistikte , ortalama mutlak ölçekli hata (MASE) tahminlerin doğruluğunun bir ölçüsüdür. 2005 yılında istatistikçi Rob J. Hyndman ve Karantina Bilimleri Profesörü Anne B. Koehler tarafından “diğer ölçümlerde görülen sorunsuz tahmini doğruluğu genel olarak uygulanabilir bir ölçüm” olarak nitelendirmesi önerildi. Ortalama mutlak ölçekli hata, kök ortalama karesi sapması gibi tahmin hatalarını hesaplamak için kullanılan diğer yöntemlerle karşılaştırıldığında olumlu özelliklere sahiptir ve dolayısıyla tahminlerin karşılaştırmalı doğruluğunu belirlemek için önerilir.

formul_mase.png

Error Metrics for Regression Problems

  • Mean Absolute Error
  • Weighted Mean Absolute Error
  • Root Mean Squared Error
  • Root Mean Squared Logarithmic Error (stub)

Error Metrics for Classification Problems

  • Log Loss
  • Mean Consequential Error
  • Mean Average Precision@n
  • Multi Class Log Loss
  • Hamming Loss
  • Mean Utility
  • Matthews Correlation Coefficient

Error Metrics for Probability Distribution Function

  • Continuous Ranked Probability Score

Metrics Only Sensitive To The Order

  • Area Under Curve (AUC)
  • Gini
  • Average Among Top P
  • Average Precision (column-wise)
  • Mean Average Precision (row-wise)
  • Average Precision  (row-wise)

Error Metrics for Retrieval Problems

  • Normalized Discounted Cumulative Gain
  • Mean Average Precision
  • Mean F Score

Other

  • Levenshtein Distance

Other and rarely used:

  • Average Precision
  • Absolute Error

 

Doğru Metrik Seçimi

Referans:

https://en.wikipedia.org/wiki/Mean_squared_error

https://en.wikipedia.org/wiki/Mean_absolute_scaled_error