Uzun kısa süreli bellek (LSTM), değerleri rastgele aralıklarla hatırlayan bir tekrarlayan sinir ağı (RNN) bir mimarisidir. Öğrenilen ilerleme kaydedildiğinde saklanan değerler değiştirilmez. RNN’ler, nöronlar arasında ileri ve geri bağlantılara izin verir.

Bir LSTM, önemli olaylar arasındaki bilinmeyen boyut ve sürenin zaman gecikmeleri göz önüne alındığında zaman serilerini sınıflandırmak, işlemek ve öngörmek için oldukça uygundur. Boşluk uzunluğuna göreceli duyarsızlık, alternatif RNN’ler, gizli Markov modelleri ve sayısız uygulamadaki diğer dizi öğrenme yöntemlerine kıyasla LSTM’ye bir avantaj sağlamaktadır.

uzunkisasurelibellek

 

Uzun Kısa Süreli Bellek Ağları – genellikle sadece LSTM’ler olarak adlandırılır. Uzun vadeli bağımlılıkları öğrenebilen özel bir RNN türüdür. Çok çeşitli problemlerde çok iyi çalışıtıkları için günümüzde çok yaygın şekilde kullanılıyorlar.

LSTM’ler, uzun vadeli bağımlılık sorununun önüne geçmek için açıkça tasarlanmıştır. Uzun süreler boyunca bilgileri hatırlamak pratikte varsayılan davranışlarıdır, öğrenmek için mücadele ettikleri bir şey değildir.

Tüm tekrarlanan sinir ağları, tekrar eden sinir ağı modül zinciri biçimindedir. Standart RNN’lerde, bu tekrarlanan modül, tek bir tanh katmanı gibi çok basit bir yapıya sahip olacaktır.

Bir LSTM ağı, diğer ağ üniteleri yerine veya buna ek olarak LSTM üniteleri içerir. LSTM birimi, uzun veya kısa zaman periyotlarını hatırlar. Bu kabiliyetin anahtarı, tekrarlanan bileşenlerinde hiçbir etkinleştirme işlevini kullanmamasıdır. Dolayısıyla, depolanan değer yinelemeli olarak değiştirilmez ve zaman içinde geri yayılımla eğitildiğinde eğim kaybolmaz.

LSTM birimleri, genellikle birkaç birim içeren “bloklar” içinde uygulanmaktadır. Bu tasarım, derin sinir ağlarında tipiktir ve paralel donanımlarla yapılan uygulamaları kolaylaştırır.

LSTM blokları, bilgi akışını kontrol eden üç veya dört “kapı” içerir. Bu kapılar, 0 ile 1 arasındaki bir değeri hesaplamak için lojistik fonksiyonu kullanarak gerçekleştirir. Çoğaltma, bilginin belleğe girip çıkmak için kısmen izin vermek veya reddetmek için bu değerle uygulanır. Örneğin, bir “giriş” kapısı, yeni bir değerin bellekte ne derece aktığını kontrol eder. Bir “unut” kapısı, bir değerin bellekte kalma derecesini denetler. Bir “çıktı” kapısı, bloğun çıktı aktivasyonunu hesaplamak için bellekteki değerin ne kadar kullanıldığını kontrol eder.

 

Designed by Freepik