“Deep learning” çalışması Yann LeCun, Yoshua Bengio ve Geoffrey Hinton tarafından yapılmış olup Nature 521.7553 (2015): 436-444.sayfaları arasında basılmıştır.
Derin öğrenmenin esprisi görüntü içerisinden çıkarılan özelliklerin insanlar tarafından değil, çeşitli işlemlerle otomatik olarak yapılmasıdır. Hesaplama kabiliyeti ve verinin gitgide büyümesiyle derin öğrenme farklı zor problemlere çözüm olmaya devam edecektir.
Eğitim aşamasında amaç hatayı veya uzaklığı minimize etmektir. Bir Derin Öğrenen Ağ milyonlarca veriyle öğrenirken, yüz milyonlarca ağırlık adı verilen parametreye sahiptir. Bu ağırlıkların ayarlanması ile öğrenme gerçekleşmiş olur.
Bir gradyan vektörü ile hata azaltılmaya çalışılır. En dik iniş yöntemiyle çözüm aranır. Genelde stochastic
gradient descent (SGD) ismi verilen yöntem kullanılır.
Giriş katmanındaki bilgiler transfer fonksiyonları yardımıyla farklı formlara dönüştürülmektedir:
Noktaların birbirine göre türevleri ve aralarındaki ilişkiler:
İleri Besleme ve Geri Yayılma işlemleri:
convolutional katmanlarda ortak özelliklere sahip alanlar belirlenmeye çalışır. pooling katmanında ise birbirine benzeyen kısımlar birleştirilmeye çalışılır.
Bir görüntüde motifler parçaları, parçaları objeleri oluşturur.
Ses ve metinde ise fonem -> hece -> kelime -> cümle şeklinde bir yapı vardır.
Pooling işlemi yukarıdaki geçişi sağlamaya çalışmaktadır.
ConvNet 1990’lı yıllarda da kulanılsada 2000’li yıllarda kısmen terk edilmişti, 2012 yılındaki ImageNet veri kümesi üzerinde elde edilen başarının ardından yeniden parladı. Bu başarının arkasında ConvNet+ReLU+Dropout vardır.
Bu başarının ardından dev firmalar bu konuyla ilgilenmeye başlamış, hatta NVIDIA, Mobileye, Intel, Qualcomm ve
Samsung firmaları ConvNet’i hızlı işleyebilen donanımlara yoğunlaşmışlardır.
Resimden metne dönüşüm ile ilgili bazı örnekler:
Cümlelerle eğitilen ağlar ile hangi kelimeden sonra hangi kelime gelir şeklinde yapılan bir çalışmada birbirine benzer kelimelerin ve kelime gruplarının benzer oranlarda, birbirlerine yakın oldukları görülmüştür:
recurrent neural network:
RNN’lerin gelişmişi : long short-term memory (LSTM) network
Gelecekte özellikle eğiticisiz öğrenmenin daha popüler olacağı öngörülmüştür.
İndirmek için:
deep-learning-nature2015
