Otomatik Kodlayıcılar hakkında daha fazla bilgi için tıklayınız.

Seyrek Otomatik Kodlayıcı Nedir?

Otomatik kodlayıcının girdi verisini temsil eden yararlı özellikleri öğrenmesi için iki yoldan bahsetmiştik: kod boyutunu küçük tutmak (i.e. vanilla autoencoder) ve gürültü giderici otomatik kodlayıcılar. Üçüncü yöntem ise düzenli hale getirme (regularization) kullanıyor. Gürültü Giderici Otomatik Kodlayıcı (Denoising Autoencoder)  ile ilgili yazıda düzenlenmiş otomatik kodlayıcılardan bahsetmiştik. Düzenlenmiş otomatik kodlayıcıları hatırlayalım.

  • Düzenlenmiş otomatik kodlayıcılar (regularized autoencoder) lineer olmayan (non-linear) ve overcomplete birer otomatik kodlayıcıdır. Kod boyutu girdi boyutundan büyük olmasına rağmen, hala girdi verisini temsil edebilecek yararlı özellikleri öğrenebilir. Bunu yapabilmek için modele fazladan bir ceza terimi (penalty term) eklenmektedir. Bu ceza terimi Kullback-Leibler divergence‘e dayanmaktadır. KL-divergence, iki ayrı dağılımın birbirlerinden ne kadar farklı olduğunu hesaplamaya yarayan standart bir fonksiyondur.

Otomatik kodlayıcıyı, düğümlerin yalnızca bir kısmının aktif düğümler olarak adlandırılan, sıfır olmayan değerlere sahip olacağı şekilde bir seyreklik kısıtlaması (sparsity constraint) kullanarak düzenleyebiliriz. Bunun için genelde, kayıp fonksiyonuna, düğümlerin sadece bir kısmının aktif hale geleceği şekilde bir ceza terimi (penalty term) ekliyoruz. Bu, otomatik kodlayıcının her girdisini az sayıdaki düğümlerin bir kombinasyonu olarak temsil etmeye zorlar ve veriyi temsil edebileceğimiz yararlı özellikleri keşfetmesini sağlar.

Bu yöntem, kod boyutu girdiden büyük olsa bile çalışır, çünkü gizli katman, koddaki düğümlerin yalnızca küçük bir alt kümesi herhangi bir zamanda aktif olacaktır.

Sparse AE architecture
Kaynak

Seyreklik (Sparsity), bir otomatik kodlayıcı için istenen bir özelliktir, çünkü daha fazla sayıda gizli düğümün (girdi düğümlerinden bile daha fazla) kullanılmasına izin verir ve bu nedenle ağa farklı bağlantılar öğrenme ve farklı özellikler çıkarma yeteneği verir.

giphy.gif

 

Designed by Freepik