Softmax Regresyon lojistik regresyonun genelleştirilmiş halidir. Lojistik Regresyon Modeli sınıf etiketi y’nin olası iki değeri için çalışabilmektedir, Softmax Regresyon Modeli ise sınıf etiketlerinin daha fazla değer alabileceği sınıflandırma sorunlarıyla ilgilenmektedir. Bu model, MNIST rakam sınıflaması problemindeki 10 farklı sayıyı ayırt etmek gibi sorunlar için kullanılır.
Softmax Regresyon denetimli bir öğrenme algoritmasıdır ancak derin öğrenme, denetimsiz özellik öğrenme yöntemleri ile birlikte de kullanılabilmektedir.
Lojistik Regresyonda, m etiketli, 
girdisi olan bir eğitim setine 
sahip olduğumuzu hatırlayın:
Lojistik Regresyon ile, 
etiketli ikili sınıflandırma yapmıştık. Hipotezimiz
ve θ model parametreleri, maliyet fonksiyonunu en aza indirgemek üzere eğitmiştik ,
Softmax Regresyonunda, ikili sınıflandırma yerine çok sınıflı sınıflandırma ile ilgileniyoruz ve bu nedenle y etiketi sadece iki yerine k farklı değer alabilmektedir.
Böylelikle, eğitim setimiz şu şekilde olacaktır ,
.Örneğin, MNIST rakam tanıma probleminde, k = 10 farklı sınıf olacaktır.
Bir test girişi x verildiğinde, hipotezimizin 
her bir değeri için 
olasılığını tahmin etmesini istiyoruz. Örneğin, sınıf etiketinin, k farklı olası değerlerin her birine sahip olma ihtimalini tahmin etmek istiyoruz. Böylece, hipotezimiz bize k tahmini olasılıklarımızı veren bir k boyutlu vektörü (elemanların toplamı 1) üretir. Yani Hipotezimiz 
şu şekilde olur: 
Modelimizin parametreleri: 
terimi dağılımı normalleştirir. Yani değerlerin toplamlarını 1’e eşitler.
Kolaylık sağlaması açısından modelimizin tüm parametrelerini belirtmek için θ yazacağız. Softmax Regresyonunu uyguladığımızda, θ’yı 
şekilde sıralayarak 
matrisi olarak gösterilir. 
