Normal Denklemi en küçük kareler maliyet fonksiyonuyla doğrusal regresyon problemine analitik bir çözüm olarak sunulabilir. Bazı durumlarda (küçük özellik kümeleri için olduğu gibi) onu kullanırken gradyan inişi uygulamaktan daha etkilidir.
Lineer regresyon için Normal Denklem Türevi
Hipotez işlevi göz önüne alındığında:
En küçük kareler maliyetini en aza indirmek istiyoruz:
‘inci örnek (m örneklerinden) ve
inci beklenen sonuçtur.
Aradığımız regresyon katsayıları vektörel:
M girdi örneklerinin her biri, benzer şekilde, n + 1 satırlı bir sütun vektörü olup, , kolaylık sağlamak için 1’dir. Şimdi hipotez fonksiyonunu şöyle yazabiliriz:
Bu, tüm örnekler üzerinde toplandığında, matris gösterimine bakabiliriz. “Tasarım matrisi” X’i (büyük harf X), her satırın i inci örneğinde (vektör ) olduğu m sıra matrisi olarak tanımlayacağız. Bununla, toplamı matris çarpımıyla değiştirerek asgari kareler maliyetini aşağıdaki gibi yeniden yazabiliriz:
Şimdi, bazı matris geçiş kimlikleri kullanarak, bunu biraz basitleştirebiliriz. Bir türevi yine de sıfır ile karşılaştıracağımız için parçasını atacağım:
‘nın bir vektör olduğunu ve bu nedenle de y’dir. Dolayısıyla birbiriyle çarpıştığımızda, sıranın ne olduğu önemli değildir (boyutlar işlediği sürece). Böylece daha basitleştirebiliriz:
Unutmayın ki bizim bilinmeyenimizdir. Yukarıdaki işlevin minimumu nerede bulursak,
ile türetilir ve 0 ile karşılaştırırız. Bir vektörle türetmek rahatsız olabilir, ancak endişelenilecek bir şey yoktur. Hatırlayın ki, lineer formüllerin bir sistemini rahatça temsil etmek için yalnızca matris gösterimini kullanıyoruz. Böylece, vektörün her bir bileşeni tarafından türettikten sonra ortaya çıkan türevleri tekrar bir vektöre birleştiriyoruz. Sonuç:
Veya:
Şimdi, matrisinin tersine çevrilebilir olduğunu varsayarsak, her iki tarafı da
ile çarpabiliriz:
İşte Normal Denklem.