Makine Öğrenmesinin önemli konularından biri maliyet fonksiyonudur.
Model Oluşturma
- Girdi verilerimizi
, çıktılarımızı ise
ile gösterelim.
çifti ise bizim eğitim verilerimizden biri olsun.
- Böylece m tane
çifti de eğitim veri kümemizi oluşturmuş olur.
NOT: Burada (i) gösterimi herhangi bir üs alma işlemi değil, sadece kaçıncı veri olduğunu(indeksini) ifade etmektedir.
Bütün girdi verilerimizin uzayını X, Çıktı verilerimiziz uzayını ise Y ile gösterelim.
Denetimli Öğrenme problemini biraz daha resmi olarak tanımlarsak, amacımız bir eğitim seti verildiğinde, fonksiyon h: X → Y‘yi öğrenmelidir, böylece h(x), y’ye karşılık gelen değeri için “iyi” bir tahmin edici olmalıdır. h fonksiyonuna hipotez denir.
Tahmin etmeye çalıştığımız hedef değişken, sürekli olduğunda, öğrenme problemini bir regresyon problemi olarak adlandırırız. Y, yalnızca az sayıdaki ayrı değeri alabildiğinde(1 veya 0 gibi) bir sınıflandırma problemi deriz.
Maliyet Fonksiyonu
Lineer regresyonda tahmin edilen y değeri ile gerçek y değeri arasındaki hatayı minimuma indirebilmek için öyle w değerleri bulmalıyız. Maliyet fonksiyonunu (cost function) minimize etmeliyiz. Maliyet fonksiyonu diye gerçek y değerleri ile tahmin edilen y değerleri arasındaki farka deriz. Maliyet fonksiyonu şu notasyonla ifade ederiz:
: veri setindeki i. verinin özellikleri
: tahmin edilen y değeri
gerçek y değeri
Başka bir tanımla bir hipotez fonksiyonunun doğruluğunu bir maliyet fonksiyonu kullanarak ölçebiliriz. Bu, x girdileri ve gerçek çıktılarla yani y’ler ile hipotezin tüm sonuçlarının ortalama farkını alır. Yani;
Maliyet fonksiyonunun minimize edilmesi ile w değerlerini bulmak
Aşağıda verilen denklemlere göre [n , m] lik bir verisetimiz bulunmaktadır.
Aradığımız w değerlerini maliyet fonksiyonunu minimize edebilmek için
w değişkenlerine göre kısmi türev alalım
Türev aldıktan sonra elde ettiklerimiz


Matris olarak gösterirsek şu şekilde olacaktır
