Andrew Ng: Derin Öğrenme (Deep Learning)

Andrew Ng Derin Öğrenme hakkında ne düşünüyor?

Andrew Ng, Coursera’nın Kurucularından; Stanford Üniversitesi’nde Misafir Profesör Cevaplanma Tarihi: 3.Şubat.2016 • Featured on Quora Sessions's Twitter

Çeviren: Ahmet Diril (e-posta)

Cevaplanan Orijinal Soru: Andrew Ng: Derin Öğrenme hakkında ne düşünüyorsunuz?

Derin Öğrenme, pek çok grubun heyecan verici AI uygulamaları yaratmasına yardımcı olan inanılmaz bir araçtır. Kendi kendini süren arabaları, doğru konuşma tanıma uygulamalarını, görüntüleri anlayabilen bilgisayarları ve çok daha fazlasını yapmamıza yardımcı oluyor.

Yakın zamanda çok ilerleme kaydedilse de önümüzde hala çok büyük fırsatlar görüyorum. Hassas tarım, tüketici finansmanı, tıp gibi alanlarda derin öğrenmenin çok etkili olacağı fırsatlar gördüğüm pek çok proje var, ancak hiçbirimizin henüz bunlara odaklanmak için zamanı yok. Bu yüzden, derin öğrenmenin yakın zamanlarda “duraklamaya” başlamayacağından ve ve hızla büyümeye devam edeceğinden eminim.

Derin Öğrenmenin biraz abartıldığı da bir gerçek. Nöral ağlar çok teknik ve açıklaması zor bir konu olduğundan, çoğumuz bunu insan beynine benzetme yaparak açıklıyoruz. Ancak biyolojik beynin nasıl çalıştığını da pek bilmiyoruz. UC Berkeley’den Michael Jordan, derin öğrenmenin biyolojik beynin bir “karikatürü” (zaten anlamadığımız bir şeyin aşırı basitleştirilmiş hali) olduğunu söylüyor ve buna ben de katılıyorum. Medyanın abartmalarına rağmen, insan seviyesinde bir zeka yaratmaktan çok uzağız. Temelde beynin nasıl çalıştığını tam olarak bilmediğimiz için, bildiğimiz çok az şeyin bilgisayarda benzerini yapma girişimleri de faydalı AI sistemleri ile sonuçlanmadı. Bunun yerine, bugünün en etkili derin öğrenme çalışmaları, biyolojiyi körü körüne kopyalamaya çalışmak yerine, CS (Bilgisayar Bilimleri) ve mühendislik ilkelerinden yararlanarak ve belki biraz da biyolojiden ilham alarak ilerleme göstermiştir. Gerçekten de eğer birisinin “Beyin X yapıyor. Benim sistemim de X yapıyor. O zaman biz bir beyin yaratma yolundayız.” dediğini duyarsanız derhal kaçın!

Derin öğrenmede kullanılan fikirlerin birçoğu onlarca yıldır biliniyordu. Peki neden şimdi başarılı oldular? Gelişmelerindeki önemli etkenlerden ikisi şunlardır: (i) veri ölçeği ve (ii) hesaplama ölçeği. Toplumumuz, web sitelerinde ve mobil cihazlarda daha fazla vakit geçirdiğinden, son yirmi yılda hızlı bir şekilde veri biriktirdik. Çok yakın zamanlarda, bu çok miktarda veriden yararlanabilecek derin öğrenme algoritmaları oluşturmak için hesaplamayı nasıl ölçekleyeceğimizi bulduk.

Bu sayede şimdi, derin öğrenme sürecini hızlandıran iki olumlu geribildirim döngüsüne girdik:

Birincisi, artık büyük miktarda veriyi emebilen büyük makinelere sahip olduğumuzdan, büyük verilerin (big data) değeri daha da netleşti. Bu bizi daha fazla veri toplamaya teşvik ediyor, bu da bizi daha büyük/daha hızlı nöral ağlar oluşturmaya teşvik ediyor.

İkincisi, hızlı derin öğrenme uygulamalarına sahip olmamız, aynı zamanda yeniliği (inovasyonu) ve derin öğrenme araştırmalarının ilerlemesini de hızlandırıyor. Birçok kişi bilgisayar sistemlerine yapılan yatırımların derin öğrenme üzerindeki etkisini hafife alır. Derin öğrenme araştırmaları yaparken, hangi algoritmaların çalışıp çalışmayacağını bilmeden başlarız ve işimiz çok sayıda deney yaparak bunu çözmeye çalışmaktır. Bir deneyi bir hafta yerine bir günde yapabilmenizi sağlayan verimli bir bilgisayar altyapınız varsa, araştırmanızın ilerlemesi neredeyse 7 kat daha hızlı olacaktır!

İşte bu nedenle 2008’de Stanford’daki grubum, derin öğrenmeyi GPU’lara (grafik işlemci birimler) kaydırmayı savunmaya başladı (bu o zaman gerçekten çok tartışıldı ama şimdi herkes bunu yapıyor) ve şimdi derin öğrenmeyi arttırmak için HPC (Yüksek Performanslı Hesaplama/Süper Hesaplama) taktiklerine geçmeyi savunuyorum. Makine öğrenimi HPC’yi sahiplenmelidir. Bu yöntemler araştırmacıları daha verimli hale getirecek ve bu alandaki ilerlemeyi hızlandıracaktır.

Özetlersek: Derin öğrenme, daha şimdiden AI’nın muazzam ilerlemeler kaydetmesine yardımcı olmuştur. Ve gelecekte çok daha fazla faydası olacaktır!

What does Andrew Ng think about Deep Learning?

Andrew Ng, Co-founder of Coursera; Adjunct Professor of Stanford Answered Feb 3, 2016 • Featured on Quora Sessions's Twitter

Originally Answered: Andrew Ng: What do you think of Deep Learning?

Deep Learning is an amazing tool that is helping numerous groups create exciting AI applications. It is helping us build self-driving cars, accurate speech recognition, computers that can understand images, and much more.

Despite all the recent progress, I still see huge untapped opportunities ahead. There're many projects in precision agriculture, consumer finance, medicine, ... where I see a clear opportunity for deep learning to have a big impact, but that none of us have had time to focus on yet. So I'm confident deep learning isn't going to "plateau" anytime soon and that it'll continue to grow rapidly.

Deep Learning has also been overhyped. Because neural networks are very technical and hard to explain, many of us used to explain it by drawing an analogy to the human brain. But we have pretty much no idea how the biological brain works. UC Berkeley's Michael Jordan calls deep learning a "cartoon" of the biological brain--a vastly oversimplified version of something we don't even understand--and I agree. Despite the media hype, we're nowhere near being able to build human-level intelligence. Because we fundamentally don't know how the brain works, attempts to blindly replicate what little we know in a computer also has not resulted in particularly useful AI systems. Instead, the most effective deep learning work today has made its progress by drawing from CS and engineering principles and at most a touch of biological inspiration, rather than try to blindly copy biology.

Concretely, if you hear someone say "The brain does X. My system also does X. Thus we're on a path to building the brain," my advice is to run away!

Many of the ideas used in deep learning have been around for decades. Why is it taking off only now? Two of the key drivers of its progress are: (i) scale of data and (ii) scale of computation. With our society spending more time on websites and mobile devices, for the past two decades we've been rapidly accumulating data. It was only recently that we figured out how to scale computation so as to build deep learning algorithms that can take advantage of this voluminous amount of data.

This has now put us in two positive feedback loops, which is accelerating the progress of deep learning:

First, now that we have huge machines to absorb huge amounts of data, the value of big data is clearer. This creates a greater incentive to acquire more data, which in turn creates a greater incentive to build bigger/faster neural networks.

Second, that we have fast deep learning implementations also speeds up innovation, and accelerates deep learning's research progress. Many people underestimate the impact of computer systems investments in deep learning. When carrying out deep learning research, we start out not knowing what algorithms will and won't work, and our job is to run a lot of experiments and figure it out. If we have an efficient compute infrastructure that lets you run an experiment in a day rather than a week, then your research progress could be almost 7x as fast!

This is why around 2008 my group at Stanford started advocating shifting deep learning to GPUs (this was really controversial at that time; but now everyone does it); and I'm now advocating shifting to HPC (High Performance Computing/Supercomputing) tactics for scaling up deep learning. Machine learning should embrace HPC. These methods will make researchers more efficient and help accelerate the progress of our whole field.

To summarize: Deep learning has already helped AI made tremendous progress. But the best is still to come!