Softmax Regresyon lojistik regresyonun genelleştirilmiş halidir. Lojistik Regresyon Modeli sınıf etiketi y’nin olası iki değeri için çalışabilmektedir, Softmax Regresyon Modeli ise sınıf etiketlerinin daha fazla değer alabileceği sınıflandırma sorunlarıyla ilgilenmektedir. Bu model, MNIST rakam sınıflaması problemindeki 10 farklı sayıyı ayırt etmek gibi sorunlar için kullanılır.

Softmax Regresyon denetimli bir öğrenme algoritmasıdır ancak derin öğrenme, denetimsiz özellik öğrenme yöntemleri ile birlikte de kullanılabilmektedir.

Lojistik Regresyonda, m etiketli,  girdisi olan bir eğitim setine  sahip olduğumuzu hatırlayın:

Lojistik Regresyon ile,  etiketli ikili sınıflandırma yapmıştık. Hipotezimiz

  ve θ model parametreleri, maliyet fonksiyonunu en aza indirgemek üzere eğitmiştik ,Softmax Regresyonunda, ikili sınıflandırma yerine çok sınıflı sınıflandırma ile ilgileniyoruz ve bu nedenle y etiketi sadece iki yerine k farklı değer alabilmektedir.

Böylelikle, eğitim setimiz şu şekilde olacaktır ,.Örneğin, MNIST rakam tanıma probleminde, k = 10 farklı sınıf olacaktır.
Bir test girişi x verildiğinde, hipotezimizin    her bir değeri için olasılığını tahmin etmesini istiyoruz. Örneğin, sınıf etiketinin, k farklı olası değerlerin her birine sahip olma ihtimalini tahmin etmek istiyoruz. Böylece, hipotezimiz bize k tahmini olasılıklarımızı veren bir k boyutlu vektörü (elemanların toplamı 1) üretir. Yani Hipotezimiz şu şekilde olur: 

Modelimizin parametreleri: 

terimi dağılımı normalleştirir. Yani değerlerin toplamlarını 1’e eşitler.

Kolaylık sağlaması açısından modelimizin tüm parametrelerini belirtmek için θ yazacağız. Softmax Regresyonunu uyguladığımızda, θ’yı  şekilde sıralayarak  matrisi olarak gösterilir.