
Turkish: 
Sayın bilge dostlarım, Burası Károly Zsolnai-Fehér ile iki dakikada makale
Bu OpenAI'dan inanılmaz makale. Amaç yapay zekaya
bir metni okuyarak sorulara cevap verme, metni tamamlama, okuduğunu anlama, özetleme
ve bunun gibi genel
doğal dil işleme işlemlerini yapabilmeyi öğretmek.
Sadece bu da değil, bunun yanında yapay zekanın bunları mümkün olduğunca az gözetim ile
öğrenmesini sağlamak. Bu GPT-2 olarak 
adlandırdıkları interneti okuyan ve kendi kendine
bizim dilimizin karmaşıklıklarını öğrenebilecek algoritmayı ortaya çıkarılmaya çalışıldığı anlamına geliyor.
Bunu gerçekleştirebilmek için elbette çok fazla eğitim verisine ihtiyacımız var, ve burada yapay zeka
şaşırtıcı derecede büyük miktarda bir veri olan 40 gigabaytlık binary olmayan düz
metin verisini okudu.

English: 
Dear Fellow Scholars, this is Two Minute Papers
with Károly Zsolnai-Fehér.
This is an incredible paper from OpenAI, in
which the goal is to teach an AI to read a
piece of text and perform common natural language
processing operations on it, for instance,
answering questions, completing text, reading
comprehension, summarization, and more.
And not only that, but additionally, the AI
has to be able to perform these tasks with
as little supervision as possible. This means
that we seek to unleash the algorithm that
they call GPT-2 to read the internet and learn
the intricacies of our language by itself.
To perform this, of course, we need a lot
of training data, and here, the AI reads 40
gigabytes of internet text, which is 40 gigs
of non-binary plaintext data, which is a stupendously
large amount of text.

English: 
It is always hard to put these big numbers
in context, so as an example, to train similar
text completion algorithms, AI people typically
reach out to a text file containing every
significant work of Shakespeare himself, and
this file is approximately 5 megabytes. So
the 40 gigabytes basically means an amount
of text that is 8000 times the size of Shakespeare’s
works. That’s a lot of text.
And now, let’s have a look at how it fares
with the text completion part.
This part was written by a human, quoting:
“In a shocking finding, scientist discovered
a herd of unicorns living in a remote, previously
unexplored valley, in the Andes Mountains.
Even more surprising to the researchers was
the fact that the unicorns spoke perfect English.”
And the AI continued the text the following
way, quoting a short snippet of it:
“The scientist named the population, after
their distinctive horn, Ovid’s Unicorn.

Turkish: 
Bu derecede büyük sayıyı bir bağlam içinde anlatmak her zaman zor olmuştur. Örnek olarak benzer metin tamamlama
algoritmalarının eğitimi için yapay zeka araştırmacıları Shakespare'in bütün
önemli çalışmalarını kullanmaktadır ve dosya yaklaşık 5 megabytetır.
40 gigabytes temel olarak Shakespare'in çalışmalarından 8000 kat daha fazla metin
anlamına geliyor. Bu çok fazla metin.
Şimdi, metin tamamlama bölümü ile ne kadar işe yaradığına bir bakalım.
Bu kısım insan tarafından yazılmıştır, "Şok edici buluş. Bilim insanları,
Andres Dağlarında daha önce keşfedilmemiş vadide yaşayan tek boynuzlu at sürüsü keşfetti.
Bilim insanlar için daha da şaşırtıcı olan, tek boynuzlu atların mükemmel İngilizce konuşmalarıydı."
Ve yapay zeka metni şu şekilde devam ettiriyor, kısa bir alıntı:
"Bilim insanları, onları belirgin boynuzlarından ötürü Odvid Tek Boynuzlu Atı olarak adlandırdı.

English: 
These four-horned, silver-white unicorns were
previously unknown to science.”
Whoa! Now note that this is clearly not perfect,
if there is even such a thing as a perfect
continuation, and it took 10 tries, which
means that the algorithm was run 10 times
and the best result was cherrypicked and recorded
here. And despite all of these, this is a
truly incredible result, especially given
that the algorithm learns on its own.
After giving it a piece of text, it can also
answer questions in a quite competent manner.
Worry not, later in this video, I will show
you more of these examples and likely talk
over them, so if you are curious, feel free
to pause the video while you read the prompts
and their completions.
The validation part of the paper reveals that
this method is able to achieve state-of-the-art
results on several language modeling tasks,
and you can see here that we still shouldn’t

Turkish: 
Bu dört boynuzlu gümüş beyaz renkli boynuzlu atlar bilim camiası tarafında daha önce bilinmiyordu."
Vay be! Şimdi, bunun kusursuz bir şekilde mükemmel olmadığını, mükemmel bir devamı gibi bir şey olsa bile,
10 denemenin yapıldığını, yani algoritmanın 10 kez çalıştığını ve en iyi sonucun burada
seçilip kaydedildiğine dikkat edin. Tüm bunlara rağmen, özellikle algoritmanın
kendi kendine öğrendiği göz önüne alındığında, bu gerçekten inanılmaz bir sonuç.
Yapay zeka ayrıca başka bir metin verildiğinde oldukça yetkin bir biçimde sorulara yanıt verebiliyor.
Endişelenmeyin, bu videoda daha sonra size bu örneklerden daha fazlasını göstereceğim ve muhtemelen bunlar hakkında
konuşacağım. Eğer meraklandıysanız, parçaları ve yapay zekanın tamamlamalarını okumak için
videoyu duraklatmaktan çekinmeyin.
Makalenin validasyon bölümünde, bu yöntemin çeşitli dil modelleme görevlerinde teknoloji harikası sonuçları
başarabildiği ifade ediliyor,
burada hala okuduğunu anlama anlamında

English: 
expect it to match a human in terms of reading
comprehension, which is the question answering
test. More on that in a moment.
So, there are plenty of natural language processing
algorithms out there that can perform some
of these tasks, in fact, some articles already
stated that there is not much new here, it’s
just the same problem, but stated in a more
general manner, and with more compute. A ha!
It is not the first time that this happens.
Remember our video by the name “The Bitter
lesson”? I’ve put a link to it in the
video description, but in case you missed
it, let me quote how Richard Sutton addressed
this situation:
“The bitter lesson is based on the historical
observations that 1) AI researchers have often
tried to build knowledge into their agents,
2) this always helps in the short term, and
is personally satisfying to the researcher,
but 3) in the long run it plateaus and even
inhibits further progress, and 4) breakthrough

Turkish: 
bir insana yetişmesini beklemememiz 
gerektiğini soru cevaplama testinden
görebilirsiniz. Birazdan daha fazlası geliyor.
Bu görevlerin bazılarını gerçekleştirebilecek pek çok doğal dil işleme  algoritması var, aslında, bazı
makaleler pek yeni bir şey olmayan bu noktaya zaten ulaşmıştı. Bu, sadece aynı
problem ancak daha genel bir yaklaşım ve daha çok bilgisayara dayalı bir durumda. A ha!
Bu ilk defa gerçekleşmiyor.
"The bitter lesson (Çok acı ders)" isimli videomuzu hatırlayın. Videonun linkini
açıklamalar kısmına bıraktım. Eğer kaçırdıysanız Richard Sutton'ın bu durumu nasıl ele aldığını
söyleyeyim: "Tarihi gözlemlerden alınan en acı ders:
1) Yapay zeka araştırmacıları genellikle bilgiyi kendi ajanlarında oluşturmayı denediler.
2) Bu kısa vadede yardımcı oldu. Ve kişisel olarak araştırmacıları tatmin etti.
Ama 3) Uzun vadede ilerlemeyi yavaşlattı ve hatta engelledi, ve 4)

Turkish: 
Nihayetinde ilerleme ters bir yaklaşım olarak arama ve öğrenmeyle hesaplama skalasına
vardı. Nihayetinde başarı, acılıklarla doldu ve tam olarak sindirilemedi çünkü tercih
edilen başarı insan merkezli oldu.
Peki buradaki en büyük ders ne? Neden GPT-2 çok ilgi çekici?
Aktarılan sözden bahsedilen açık durumlardan alınacak büyük derslerden birincisi
daha fazla veri ve bilgisayar gücü ile daha fazlasını yapabiliriz.
ve algoritmamıza daha fazla ilave bilgi eklememize gerek yok. İkinci ders
sonuç olarak bu algoritma daha genel hale gelebilir yani diğer birçok teknikten daha fazla
görevi yerine getirebilir. Bu inanılmaz bir değer ifadesidir.
Ayrıca daha fazla işlem gücü eklendiğinde her öğrenme yönteminin kapsamının iyileşmediğini de ekleyeceğim,
aslında, hatta GPT-2'nin özetlemede ki durumunu burada kendinizde görebilirsiniz.

English: 
progress eventually arrives by an opposing
approach based on scaling computation by search
and learning. The eventual success is tinged
with bitterness, and often incompletely digested,
because its success over a favored, human-centric
approach.“
So what is the big lesson here? Why is GPT-2
so interesting?
Well, big lesson number one is that this is
one of the clearer cases of what the quote
was talking about, where we can do a whole
lot given a lot of data and compute power,
and we don’t need to insert too much additional
knowledge into our algorithms. And lesson
number two, as a result, this algorithm becomes
quite general so it can perform more tasks
than most other techniques. This is an amazing
value proposition.
I will also add that not every learning technique
scales well when we add more compute, in fact,
you can see here yourself that even GPT-2
plateaus on the summarization task. Making

English: 
sure that these learning algorithms scale
well is a great contribution in and of itself
and should not be taken for granted.
There has been a fair bit of discussion on
whether OpenAI should publish the entirety
of this model. They opted to release a smaller
part of the source code and noted that they
are aware that the full model could be used
for nefarious purposes.
Why did they do this? What is the matter with
everyone having an AI with a subhuman-level
reading comprehension? Well, so far, we have
only talked about quality. But another key
part is quantity. And boy, are these learning
methods superhuman in terms of quantity…just
imagine that they can write articles with
a chosen topic and sentiment all day long,
and, much quicker than human beings. Also
note that the blueprint of the algorithm is
described in the paper, and a top-tier research
group is expected to be able to reproduce
it.

Turkish: 
Bu öğrenme algoritmalarının iyi ölçeklendiğinden emin olmak kendi
başına büyük bir katkıdır ve hafife alınmamalıdır.
OpenAI'ın bu modelin tamamını yayınlayıp yayınlamaması konusunda birçok
tartışma yapıldı. Kaynak kodun sadece küçük bir kısmını yayınlamayı seçiler ve
modelin tamamının kötü amaçlar için kullanılabileceğinin farkında olduklarını belirttiler.
Neden bunu yaptılar? Herkesin insan altı seviyesinde okuduğunu anlayan bir yapay zekaya
sahip olmasında ki sorun ne? Şimdiye kadar sadece kalite hakkında konuştuk. Bir diğer
önemli kısım ise niceliktir. Ve çocuklar, bu öğrenme yöntemleri insan üstü sayıda mıdır? Sadece,
seçilen bir konu hakkında makaleler yazdıklarını ve bütün gün duyarlı bulunduklarını ve insanoğlundan çok daha
hızlı olduklarını bir hayal edin. Ayrıca algoritmanın taslağının makalede açıklandığına ve üst düzey
bir araştırma topluluğunun onu yeniden üretmesini beklendiğine
dikkat edin.

English: 
So does one release the full source code and
models or not? This is a quite difficult question:
we need to keep publishing both papers and
source code to advance science, but, we also
have to find new ways to do it in an ethical
manner. This needs more discussion and would
definitely be worthy of a conference-style
meeting. Or more.
There is so much to talk about, and so far,
we have really only scratched the surface,
so make sure to have a look in the video description,
I left a link to the paper and some more super
interesting reading materials for you. Make
sure to check them out!
Also just a quick comment on why this video
came so late after the paper has appeared.
Since there were a lot of feelings and intense
discussion on whether the algorithm should
be published or not, I was looking to wait
until the dust settles and there is enough
information out there to create a sufficiently
informed video for you. This, of course means
that we are late to the party and missed out
on a whole lot of views and revenue, but that’s

Turkish: 
Biri tüm kaynak kodu ve modeli yayınlar mı yayınlamaz mı? Bu oldukça zor bir soru:
Bilimin gelişmesi için makaleleri ve kaynak kodlarını yayınlamaya devam etmeliyiz ancak bunları
etik bir tavırla yapacak yeni bir yol bulmamız gerekiyor. Bunun daha çok tartışılmaya ihtiyacı var ve konu
kuşkusuz, konferans tarzı toplantılara değer. Veya daha fazlasına.
Bu konu ile ilgili konuşulacak çok şey var. Ancak biz şimdiye kadar sadece yüzeye bir çizik attık.
Videonun açıklamalar kısmına makalenin linkini ve okumanız için çok ilginç
materyaller bıraktım. Kontrol etmeyi unutmayın.
Ayrıca videonun makalenin yayınlanmasından çok sonra gelmesi ile ilgili hızlı bir açıklama,
Algoritmanın yayınlanıp yayınlamaması ile birçok duygu ve yoğun tartışmalar
olduğu için ortalık yatışana kadar ve yeteri kadar bilgilendirici video oluşturana kadar
beklemek istedim. Bu elbette
partiye geç kaldığımız ve birçok görüş ve geliri kaçırdığımız anlamına geliyor ancak

English: 
okay, in fact, that’s what we’ll keep
doing going forward to make sure you get the
highest quality information that I can provide.
If you have enjoyed this episode and would
like to help us, please consider supporting
us on Patreon! Remember our motto, a dollar
a month is almost nothing, but it keeps the
papers coming. And there are hundreds of papers
on my reading list. As always, we are available
through Patreon.com/TwoMinutePapers, and the
link is also available in the video description.
Thanks for watching and for your generous
support, and I'll see you next time!

Turkish: 
sorun yok. Aslında yapabileceğim en yüksek kalitede bilgiyi aldığınızdan emin olmak için
bunu yapmaya devam edeceğiz.
Eğer bu bölümü sevdiyseniz ve bize yardım etmek istiyorsanız, lütfen bizi Patreon üzerinden
desteklemeyi düşünün. Parolamızı unutmayın, ayda bir dolar neredeyse hiçbir şey,
ama makalelerin gelmesini sağlar. Okuma listemde yüzlerce makale bulunmakta. Her zaman olduğu gibi,
bize Patreon.com/TwoMinutePapers üzerinden ulaşabilirsiniz. Link açıklamalar kısmında bulunmakta.
İzlediğiniz ve cömert destekleriniz için teşekkürler. Gelecek sefer görüşmek üzere!
