
English: 
The stamp collecting machine we talked about last time is a physical impossibility effectivly.
Because it has a perfect model of reality, or an extremely good model or realtity,
that we just gave it by specifying it.
It looks through every possible sequence of output data within a year,
which is far too large a search space to search exhaustively.
And it is able to evaluate
for each of this extremely huge search space
a detailed, year-long simulation of reality
to figure out how many stamps it gets.
So clearly an actual computer to run this algorithm
is significantly larger than the universe.
So why is it even worth thinking about?
Right?
Umm..
And the reason it's worth thinking about is...
Self Improvement
It is reasonable to expect
that a general intelligence which is not this powerful
would improve itself over time.
and eventually become very powerful.
Not as powerful as this,

Turkish: 
Geçen sefer konuştuğumuz pul toplama makinası etkili bir şekilde fiziksel olarak imkansız.
Çünkü mükemmel bir gerçeklik modeline ya da son derece iyi bir model veya gerçekliğe sahip olduğu için,
az önce belirterek verdik.
Bir yıl içinde mümkün olan her çıktı verisi dizisine bakar,
hangi arama yapmak için çok geniş bir arama alanı.
Ve değerlendirebilir
Bu son derece büyük arama alanı her biri için
detaylı, yıl boyu süren bir gerçeklik simülasyonu
kaç pul aldığını bulmak için.
Yani açıkça bu algoritmayı çalıştırmak için gerçek bir bilgisayar
evrenden önemli ölçüde daha büyük.
Peki neden düşünmeye bile değer?
Sağ?
Ümmü ..
Ve düşünmeye değer olmasının nedeni ...
Öz gelişim
Beklemek makul
bu kadar güçlü olmayan bir genel zeka
zamanla kendini geliştirirdi.
ve sonunda çok güçlü hale gelir.
Bu kadar güçlü değil.

Turkish: 
fakat buna sezgisel zeka anlayışımızdan daha yakın.
Ümmü
Ve bunun nedeni ...
Bu zeka, bu bağlamda,
araçsal bir değerdir.
Neye ulaşmak istiyorsan,
daha zeki olmak değerlidir.
Eğer yeterince akıllı olmadığını hissediyorsan
mümkün olan en iyi pul toplama planını bulmak,
planınızın ilk kısmı harcanmış olabilir
kendinize geliştirmeler tasarlama
Daha iyi bir plan yapmana izin vermek için.
[Mülakatçı] Makine kendini değiştirmesi gerekebileceğinin farkında mı?
biraz "doktor olmak istiyorum" diyen biri gibi
Bu yüzden gidip tıbbi bir derece almaya karar verdiler?
Bir anlamda, evet
insanlar gerçekten yapamamakla birlikte
zekanızı, temel zekanızı değiştirin.
Daha fazla bilgi edinebiliriz,
Ümmü
ve daha fazla beceri kazanabiliriz,
bir anlamda etkili zekanızı arttırmak
fakat...
eğer yapabilseydin ...

English: 
but closer to this than our intuitive understandings of intelligence.
Umm
And the reason for that is...
that intelligence, in this context,
is an instrumental value.
Whatever you're trying to achieve,
it's valuable to be more intelligent.
If you sense that you're not intelligent enough
to come up with the best possible stamp-collecting plan,
the first part of your plan might be spent
designing improvements to yourself
to allow you to come up with a better plan.
[Interviewer] Is the machine realizing it might need to modify itself
a bit like somebody saying "I wanna be a doctor"
so they decide to go off and get a medical degree?
In a sense, yeah,
although people are not really able to
change our intelligence, our core intelligence.
We can acquire more knowledge,
Umm
and we can acquire more skills,
which is in a sense increasing your effective intelligence
but...
if you could have a...

Turkish: 
Eğer düşünme yeteneğinizi gerçekten artıracak bir eylemde bulunursanız,
her anlamda,
, ah
bu harekete değer.
oldukça önemli bir maliyetle bile.
Ve bu doğru olan bir şey
pulları almaya çalışıyorsanız,
ama aynı zamanda neredeyse başka bir şey yapmaya çalışıyorsanız.
Gerçekliği modellemede daha iyi olmak,
seçme seçeneklerinde daha iyi olmak,
planlar yapmakta daha iyi, planlar yapmakta daha iyi,
Planın her neyse, buna değer.
Ve ayrıca inanmak için bir nedenimiz olabilir.
Genel bir istihbarat ...
... kendini geliştirmede oldukça başarılı ol.
Bunu insanlar tasarladı
ama bu oldukça kolay
insanlar için bir şeyler tasarlamak oldukça yaygın
Bu, insanlardan daha iyi yapıyorlar.
Sağ?
Ben çok zayıf bir satranç oyuncusuyum.
Ama biraz zaman ve çaba gösterdim,
Beni satrançta yenecek bir bilgisayar yaz.

English: 
if you could take an action which would actually increase your ability to think,
in all senses,
uh,
that action would be worth taking.
even at fairly significant cost.
And this is something which is true
if you're trying to collect stamps,
but also if you're trying to do almost anything else.
Being better at modeling reality,
being better at picking options,
better at making plans, better at enacting those plans,
Whatever your plan is, that's worth going for.
And we may also have reason to believe
that a general intelligence might...
...be quite successful at improving itself.
Human beings designed it,
but it's quite easy,
it's quite common for humans to design things
that are better at what they do than humans are.
Right?
I am a very weak chess player.
But I could, given some time and effort,
write a computer that would beat me at chess.

Turkish: 
Bu yüzden yazmamız tamamen mantıklı.
AI tasarımında bizden daha iyi bir AI tasarlayabiliriz.
Böylece kendileri üzerinde düşünmediğimiz iyileştirmeler yapabiliyor.
Makine kendini geliştirme ...
Gerçekten zaman ölçeği hakkında bir fikrimiz yok.
Ve son derece kısa olabilir.
Sağ?
Eğer sadece bir yazılım değişikliği ise, yazılımın bir kısmını yazarsınız, çalıştırırsınız,
Bir insandan daha hızlı düşünebilir.
Yani, bilgisayar saati hızları insandan çok daha hızlı ... beyin hızlarından,
um
Kendisine çok hızlı bir şekilde yapabileceği iyileştirmeleri keşfedebilir,
kendi kodunu yeniden yaz, hepsi bu.
Bunu çok hızlı bir şekilde yapabilirdi.
Bunu bir gün içinde yapabileceğini, açılmasının ilk saniyesinde yapabileceğini söylüyorum.
um
Ve sonra çok ilginçleşir çünkü ...
Bu sürecin özyinelemeli olması ihtimali var.
Başka bir deyişle, bir kez kendini yeniden tasarladı, şimdi daha zeki
Bu yeni zeka düzeyinde,
AI tasarımında olduğundan daha iyidir.

English: 
So it's perfectly plausible that we might write,
we might design an AI that is actually better than us at AI design.
So that it's able to make improvements to itself they that we haven't thought of.
Machine self-improvement...
We don't really have a sense of the time scale.
And it could be extremely short.
Right?
If it's just a software change, you write the piece of software, you run it,
It might think faster than a human being,
I mean, computer clock speeds are much faster than human... brain speeds,
Um
It might discover improvements that it could make to itself very quickly,
rewrite its own code, that's all in software,
It could do that very quickly.
I mean it could do that within a day, it could do that within the first second of being turned on.
Um
And then it becomes very interesting because...
There's a possibility that this process could be recursive.
That is to say, that once it's redesigned itself, it's now more intelligent,
It's possible that at this new level of intelligence,
It is better at AI design than it was.

English: 
And it's able to come up with more improvements that it can make to itself.
Umm
And so on and so on...
And so the thing continually increases in its intelligence.
Umm...
And this could be quite rapid.
And then the question becomes:
Is this subcritical or supercritical?
So there's kind of an analogy here with a nuclear material, right?
If you've got some fissile material, say it's uranium or something,
every time the atom, uh, decays,
the nucleus splits, releases some energy, it releases three fast neutrons I think.
And those three neutrons go off into the material,
and may hit other nuclei and cause them to fuse, [probably a mistake, they decay rather than fuse]
each of which gives off three of their own.
So the question is:
For each decay of a nucleus,
how many further decays happen as a consequence of that?
If the number is less than one, then you'll get a bit of a chain reaction that then fizzles out,

Turkish: 
Ve kendine yapabileceği daha çok gelişme bulabildi.
Ümmü
Ve benzeri vb...
Ve böylece şey zekasında sürekli artar.
Umm ...
Ve bu oldukça hızlı olabilir.
Ve sonra soru olur:
Bu kritik mi yoksa süperkritik mi?
Demek burada nükleer madde içeren bir benzetme var, değil mi?
Eğer parçalanabilir bir materyalin varsa, onun uranyum veya başka bir şey olduğunu söyle.
atom her çürüğünde
çekirdek ayrılır, biraz enerji açığa çıkarır, bence üç hızlı nötron salgılar.
Ve bu üç nötron malzemeye giriyor,
ve diğer çekirdeği vurabilir ve bunların sigortalanmasına neden olabilir, [muhtemelen bir hata, sigorta yerine çürürler]
her biri kendi üçünü veriyor.
Yani soru şudur:
Çekirdeğin her çürümesi için,
bunun bir sonucu olarak daha ne kadar çürüme olur?
Sayı bir taneden az ise, o zaman ortaya çıkan bir zincirleme reaksiyon ortaya çıkar.

Turkish: 
çünkü ortalama olarak, ayrılan herkes için, bir taneden daha azını yaratıyor.
Tam olarak biriyse, kendini sürdüren bir tepki alırsın,
işin nükleer bir elektrik santrali gibi olduğu yerde,
Her şey ortalama olarak birbirini bırakıyorsa,
ve bu yüzden şey durmadan devam ediyor.
Birden fazla ise kaçak reaksiyonu alırsınız
faaliyet seviyesinin katlanarak arttığı.
Her fisyon olayı iki ile sonuçlanırsa,
o zaman 2,4,8,16,32 ...
ve en iyi ihtimalle eritmeye ve en azından nükleer bombaya sahipsin.
Umm ...
Ve böylece, bilmiyoruz ... manzara şeklinin ...
tasarlayabileceğimiz herhangi bir genel zekanın etrafında.

English: 
because on average, for everyone that splits, it's creating less than one new one.
If it's exactly one you'll get a self-sustaining reaction,
where the thing is like a nuclear power plant,
where each thing sets off one other one on average,
and so the thing just keeps going steadily.
If it's more than one, you'll get a runaway reaction
in which the level of activity increases exponentially.
If each fission event results in two more,
then you've got 2,4,8,16,32...
and you've got at best a melt-down, and at worst a nuclear bomb.
Umm...
And so, we don't know... what the shape... of the landscape is
around any general intelligence that we might design.
