İster gerçek hayatta bir problemle uğraşalım ister bir yazılım ürünü ile, optimizasyon daima asıl hedeftir.

Optimizasyon temelde hedef alınan problem için en uygun sonucu (çıktıyı) elde etmek anlamına gelir.

Makine öğrenmesinde optimizasyon biraz daha farklıdır. Genel olarak, optimizasyon yaparken, verilerimizin nasıl göründüğünü ve iyileştirmek istediğimiz alanları tam olarak biliriz. Fakat makine öğrenmesinde, “yeni verilerimiz”in nasıl göründüğüne dair fikrimiz yoktur, tek başlarına optimize etmeye çalışırız.

Dolayısıyla, makine öğrenmesinde, eğitim verisi üzerinde optimizasyon yapar ve performansını yeni test verileri üzerinden kontrol ederiz.

Optimizasyonun geniş uygulamaları

Çeşitli alanlarda uygulanan çeşitli optimizasyon teknikleri vardır.

  • Mekanik – Örneğin: Havacılık
  • Ekonomi – Örneğin: Maliyet minimizasyonu
  • Fizik – Örneğin: Kuantum hesaplamada optimizasyon süresi

 

Pek çok popüler makine algoritması doğrusal regresyon, en yakın komşular, sinir ağları gibi optimizasyon tekniklerine bağlıdır. Optimizasyon uygulamaları sınırsızdır ve bir çok farklı disiplin optimizasyon üzerine çalışmaktadır.

Makine öğrenmesi ile uğraşırken en yaygın kullanılan optimizasyon tekniği Dereceli Azalmadır.

Tanımına Göre Dereceli Azalma:

Gradient inişi , bir fonksiyonun minimumunu bulmak için birinci mertebeden yinelemeli optimizasyon algoritmasıdır . Eğim inişini kullanarak yerel minimum bir nokta bulmak için, geçerli noktadaki fonksiyonun gradyanının negatifiyle orantılı adımlar atılır. Bunun yerine gradyanın pozitif ile orantılı olarak adımlar atılınırsa, bu fonksiyonun yerel maksimuma yaklaştırır; bu fonksiyona gradyen tırmanışı da denir.

Gradyan inişi aynı zamanda en dik iniş olarak bilinir.

Gradient inişi, makine öğrenmesi alanında popüler bir yöntemdir, çünkü makine öğrenmesinin amaçlarından biri,  eğitim verisi göz önüne alındığında, en yüksek doğruluğu bulmak veya hata oranını en aza indirmektir. Gradient inişi “maliyet fonksiyonunu“en aza indirgeyerek asgari hatayı bulmak için kullanılır.

 

 

Referans:

https://en.wikipedia.org/wiki/Gradient_descent