Softmax Regresyon lojistik regresyonun genelleştirilmiş halidir. Lojistik Regresyon Modeli sınıf etiketi y’nin olası iki değeri için çalışabilmektedir, Softmax Regresyon Modeli ise sınıf etiketlerinin daha fazla değer alabileceği sınıflandırma sorunlarıyla ilgilenmektedir. Bu model, MNIST rakam sınıflaması problemindeki 10 farklı sayıyı ayırt etmek gibi sorunlar için kullanılır.

Softmax Regresyon denetimli bir öğrenme algoritmasıdır ancak derin öğrenme, denetimsiz özellik öğrenme yöntemleri ile birlikte de kullanılabilmektedir.

Lojistik Regresyonda, m etiketli, girdi_ozellikleri girdisi olan bir eğitim setine egitimseti.png sahip olduğumuzu hatırlayın:

Lojistik Regresyon ile, ikili_etiket.png etiketli ikili sınıflandırma yapmıştık. Hipotezimiz

hipotez.png  ve θ model parametreleri, maliyet fonksiyonunu en aza indirgemek üzere eğitmiştik ,j_teta.pngSoftmax Regresyonunda, ikili sınıflandırma yerine çok sınıflı sınıflandırma ile ilgileniyoruz ve bu nedenle y etiketi sadece iki yerine k farklı değer alabilmektedir.

Böylelikle, eğitim setimiz şu şekilde olacaktır egitimseti,yi_k.png.Örneğin, MNIST rakam tanıma probleminde, k = 10 farklı sınıf olacaktır.
Bir test girişi x verildiğinde, hipotezimizin ji.png   her bir değeri için pyji.pngolasılığını tahmin etmesini istiyoruz. Örneğin, sınıf etiketinin, k farklı olası değerlerin her birine sahip olma ihtimalini tahmin etmek istiyoruz. Böylece, hipotezimiz bize k tahmini olasılıklarımızı veren bir k boyutlu vektörü (elemanların toplamı 1) üretir. Yani Hipotezimiz hteta.pngşu şekilde olur: hteta2.png

Modelimizin parametreleri: parametre.png

dagilimterimi dağılımı normalleştirir. Yani değerlerin toplamlarını 1’e eşitler.

Kolaylık sağlaması açısından modelimizin tüm parametrelerini belirtmek için θ yazacağız. Softmax Regresyonunu uyguladığımızda, θ’yı tetalar şekilde sıralayarak kbynmatris matrisi olarak gösterilir.                       tetamatris