
Arabic: 
المترجم: Muhammad Arafat
أمامَكُم لي سيدول.
لي سيدول هو واحدٌ من أفضلِ لاعبي
لُعبةِ "غو" على مستوى العالم
وهو يمرّ بما يدعوه أصدقائي
في سيليكون فالي
بلحظةِ "يا للهول!"
(ضحك)
هيَ لحظةٌ نُدرِكُ عندها
بأنّ تقنيّات الذكاء الاصطناعي
تتطوّر بسرعة أكبرَ بكثيرٍ ممّا توقعنا.
إذاً فقد خسرَ البشرُ في لعبةِ "غو"
لكِنْ ماذا عنِ العالمِ الواقعيّ؟
العالمُ الواقعيّ حقيقةً، أكبرُ بكثيرٍ
و أشدُّ تعقيداً مِنْ لُعبةِ "غو".
صحيحٌ بأنّهُ أقلُّ وضوحاً
لكنّه يُصنّفُ أيضاً كقضيّةِ اتخاذِ قرارات.
ولو نظرنا إلى بعضِ التّقنياتِ
التي ظهرتْ على السّاحةِ مؤخّراً
فإنَّ نوريكو أراي قالت أن الآلات
لا تستطيع القراءة بعد
على الأقل على مستوى الفهم.
لكن هذا سيحصل،
و حينما يحصلُ ذلك،
لَنْ تستغرِقَ طويلاً،

Turkish: 
Çeviri: Gunperi Sisman
Gözden geçirme: Sevkan Uzel
Burada gördüğünüz Lee Sedol.
Lee Sedol dünyadaki en iyi
Go oyuncularından biri.
Burada Silikon Vadisi'ndeki 
arkadaşlarımın deyişiyle
bir 'Aman Tanrım' anı yaşıyor
(Gülüşmeler)
Bu, yapay zekanın beklediğimizden
çok daha hızlı ilerlediğini 
anladığımız bir an.
İnsanlar Go tahtasında kaybetti.
Peki ya gerçek hayatta?
Gerçek dünya Go tahtasından
çok daha büyük ve 
çok daha karmaşık.
Daha az şeffaf
ama yine de bir karar
sorunu oluşturuyor.
Eğer gelmekte olan
bazı teknolojileri
düşünecek olursak...
Noriko [Arai] makinelerin henüz
okuyamadığından bahsetti;
en azından okuduklarını anlamadıklarından
Ama bu gerçekleşecek
ve bunun gerçekleşmesinin
hemen ardından makineler,

Modern Greek (1453-): 
Μετάφραση: Dimitris Tsampallas
Επιμέλεια: Lucas Kaimaras
Αυτός είναι ο Λι Σεντόλ.
Ο Λι Σεντόλ είναι από τους καλύτερους
παίκτες Γκο στον κόσμο,
και έχει κάτι που οι φίλοι μου 
στη Σίλικον Βάλλεϋ αποκαλούν
μια στιγμή ξαφνιάσματος...
(Γέλια)
μια στιγμή όπου συνειδητοποιούμε
ότι η ΤΝ προοδεύει αρκετά γρηγορότερα
από ό,τι περιμέναμε.
Άρα χάσαμε στο Γκο.
Τι γίνεται όμως στον πραγματικό κόσμο;
Ο πραγματικός κόσμος
είναι πολύ μεγαλύτερος
και πολύ πιο πολύπλοκος
από το ταμπλό του Γκο.
Δεν είναι τόσο ευδιάκριτο,
αλλά παραμένει ένα πρόβλημα αποφάσεων.
Και αν αναλογιστούμε 
μερικές από τις τεχνολογίες
που εμφανίζονται...
Η Νορίκο [Αράι] ανέφερε πως οι μηχανές
δεν έχουν ακόμα την ικανότητα ανάγνωσης,
τουλάχιστον με κατανόηση.
Αλλά αυτό θα συμβεί,
και όταν συμβεί,
πολύ σύντομα

Vietnamese: 
Translator: Tân Nguyễn
Reviewer: Ngoc Bui
Đây là Lee Sedol.
Lee Sedol là một trong những kì thủ cờ vây
giỏi nhất thế giới,
cậu ấy đang có thứ mà các bạn của tôi
ở thung lũng Silicon gọi là
khoảnh khắc "Ôi Chúa ơi" --
(Cười)
khoảnh khắc khi chúng ta nhận ra rằng
AI (trí tuệ nhân tạo) đã xử lí
nhanh hơn nhiều so với chúng ta mong đợi.
Vậy con người đã thua trên bàn cờ vây.
Thế còn trong thế giới thực?
Thế giới thực lớn hơn,
phức tạp hơn nhiều so với cờ vây.
Nó không dễ nhận thấy,
nhưng nó vẫn là một vấn đề
mang tính chọn lựa.
Và nếu chúng ta nghĩ về một số công nghệ
đang được chú ý đến...
Noriko [Arai] từng khẳng định
máy móc vẫn chưa thể đọc,
ít nhất là với sự thấu hiểu.
Nhưng điều đó sẽ xảy ra,
và khi điều đó xảy ra,
rất nhanh sau đó,

iw: 
מתרגם: Igal Opendik
מבקר: Ido Dekkers
זהו לי סידול.
הוא אחד מגדולי שחקני גו בעולם.
כאן הוא חווה את הרגע 
שחבריי מעמק הסיליקון מכנים
"זה הזוי!" -
(צחוק)
הרגע בו אנו מבינים
שהתפתחותה של הב''מ (בינה מלאכתית)
מתקדמת הרבה יותר מהר משציפינו.
אז בני האנוש הפסידו במשחק גו. 
אבל מה עם העולם האמיתי?
ובכן, העולם האמיתי הרבה יותר גדול,
הרבה יותר מורכב ממשחק גו.
זה פחות נגלה לעין,
אבל זו עדיין בעיית קבלת החלטות.
ואם חושבים על כמה טכנולוגיות
שמתממשות כנגד עיניינו...
נוריקו [אראי] הזכירה שמכונות
עדיין לא יודעות לקרוא,
לפחות לקרוא ולהבין.
אבל, זה יקרה.
וכאשר זה כן יקרה,
עד מהרה

Portuguese: 
Tradutor: Maurício Kakuei Tanaka
Revisor: Maricene Crus
Este é Lee Sedol.
Lee Sedol é um dos maiores
jogadores de Go do mundo,
e está tendo o que meus amigos
do Vale do Silício
chamam de momento "Caramba!",
(Risos)
um momento em que percebemos
que a IA está progredindo realmente
muito mais rápido do que esperávamos.
O homem perde no tabuleiro de Go.
E no mundo real?
Bem, o mundo real é muito maior,
muito mais complicado
do que o tabuleiro de Go.
É muito menos visível,
mas ainda é um problema de decisão.
Se pensarmos sobre algumas
das tecnologias que estão surgindo...
Noriko [Arai] mencionou que a leitura
ainda não acontece nos computadores,
pelo menos, com compreensão,
mas isso irá acontecer.
E quando acontecer,

Japanese: 
翻訳: Yasushi Aoki
校正: Yuko Yoshida
これは李世ドルです
李世ドルは 世界で最も強い
碁打ちの１人ですが
シリコンバレーの
友人たちなら
「なんてこった」と言う
瞬間を迎えています
(笑)
我々が予想していたよりも
ずっと早く
AIが進歩していることに
気付いた瞬間です
人間は碁盤上で機械に負けましたが 
実際の世の中ではどうでしょう？
実際の世界は
碁盤よりもずっと大きく 
ずっと複雑で
ずっと見通し難いですが
決定問題であることに
違いはありません
到来しつつある
テクノロジーのことを考えるなら —
機械は 本当に理解して文を読めるようには
まだなっていないことに
新井紀子氏が
触れていましたが
それもやがて
できるようになるでしょう
そして そうなったとき
機械は人類がかつて書いた
すべてのものを

Chinese: 
譯者: 易帆 余
審譯者: Wilde Luo
這是李世石。
李世石是全世界
頂尖圍棋高手之一，
此時，他正在經歷的是
我的矽谷朋友們稱之為
「我的媽呀！」的時刻......
（笑聲）
在這一刻讓我們意識到，
原來人工智慧發展的進程
比我們預期的要快得多。
人類已在圍棋博弈中落敗，
那現實世界中情況又如何？
當然啦，現實世界要比棋盤
廣闊、複雜得多，
它也遠不如棋盤上那麽黑白分明，
但仍然是個判定問題
（Decision Problem）。
如果我們思考一些
即將問世的新科技……
新井紀子提到機器仍無法 「閱讀」，
至少無法真正理解文本含義。
但這項能力最終會被機器掌握，
而當這一切發生時，
不久之後，

English: 
This is Lee Sedol.
Lee Sedol is one of the world's
greatest Go players,
and he's having what my friends
in Silicon Valley call
a "Holy Cow" moment --
(Laughter)
a moment where we realize
that AI is actually progressing
a lot faster than we expected.
So humans have lost on the Go board.
What about the real world?
Well, the real world is much bigger,
much more complicated than the Go board.
It's a lot less visible,
but it's still a decision problem.
And if we think about some
of the technologies
that are coming down the pike ...
Noriko [Arai] mentioned that reading
is not yet happening in machines,
at least with understanding.
But that will happen,
and when that happens,
very soon afterwards,

Spanish: 
Traductor: Denise RQ
Revisor: Marta Palacio
Este es Lee Sedol.
Lee Sedol es uno de los mejores
jugadores de Go del mundo.
Y está teniendo lo que mis amigos
de Silicon Valley llaman
un momento "¡Bendito Dios!".
(Risas)
Un momento en el que nos damos cuenta
de que la IA está avanzando 
mucho más rápido de lo que esperábamos.
Los humanos han perdido 
en el tablero de Go.
¿Y en el mundo real?
Bueno, el mundo real es mucho 
más grande y complicado
que el tablero de Go.
Es mucho menos visible.
Pero sigue siendo un problema de decisión.
Y si pensamos en algunas
de las tecnologías que están por venir
Noriko [Arai] mencionó 
que las máquinas aún no saben leer,
al menos no comprendiendo,
pero lo harán, y cuando eso suceda,

German: 
Übersetzung: Tanja Daub
Lektorat: Andreas Herzog
Das hier ist Lee Sedol.
Lee Sedol ist einer der besten Go-Spieler.
Er erlebt hier, was meine
Freunde im Silicon Valley
einen "Heiliger Strohsack"-Moment nennen.
(Gelächter)
Ein Moment, in dem wir bemerken,
dass die KI schneller vorankommt,
als wir erwartet haben.
Menschen verloren also bei Go.
Was ist mit der echten Welt?
Die echte Welt ist viel größer
und komplizierter als ein Go-Brett.
Sie ist weniger einsehbar,
aber trotzdem entscheidbar.
Wenn wir an ein paar Technologien denken,
die auf uns zukommen --
Noriko [Arai] erwähnte,
dass Maschinen noch nicht lesen können,
jedenfalls nicht mit Verständnis.
Aber das wird kommen.
Wenn es so weit kommt,

French: 
Traducteur: Antoine Combeau
Relecteur: Mathieu Marthe
Voici Lee Sedol.
Lee Sedol est l'un des meilleurs
joueurs de go au monde,
et il vient d'avoir ce que mes amis
de Silicon Valley appellent
un moment « Mince alors... »
(Rires)
Ce moment où nous réalisons
que l'intelligence artificielle progresse
plus rapidement que prévu.
Les hommes ont donc perdu au jeu de go.
Qu'en est-il du monde réel ?
Eh bien, le monde réel est
bien plus grand,
plus compliqué d'un plateau de go.
C'est beaucoup moins visible
mais ça reste un problème de décision.
Si nous pensons à certaines technologies
qui apparaissent...
Noriko [Arai] a dit que la lecture n'est
pas encore au point pour les machines,
du moins avec compréhension.
Mais cela se produira,
et quand ça se produira,
très peu de temps après,

Italian: 
Traduttore: Denise Cosentino
Questo è Lee Sedol.
Lee Sedol è uno dei più grandi giocatori
di Go al mondo,
e sta avendo quello che i miei amici
a Silicon Valley dicono
un momento "accidenti" --
(Risate)
un momento in cui 
ci rendiamo conto
che l'IA sta progredendo
molto più rapidamente del previsto.
Gli umani hanno perso a Go.
E nel mondo reale?
Il mondo reale è molto più grande,
molto più complesso del gioco Go.
È molto meno evidente,
ma è comunque un problema di decisione
E se pensiamo ad alcune delle tecnologie
che stanno bollendo in pentola...
Noriko [Arai] ha detto che le macchine
non sono ancora in grado di leggere,
o per lo meno di capire bene.
Ma succederà,
e quando succederà,
a breve,

Hungarian: 
Fordító: Krisztian Rassay
Lektor: Tímea Hegyessy
Ő Lee Sedol,
a világ egyik legjobb Go-játékosa,
aki itt épp arra gondol, amit
Szilícium-völgyi barátaim csak úgy hívnak:
"azt a leborult szivarvégit!".
(Nevetés)
A pillanat, amikor rádöbbenünk,
hogy a MI sokkal gyorsabban fejlődik,
mint amire számítottunk.
A Go táblán az ember alul maradt.
De mi lesz a való életben?
A való világ sokkal nagyobb,
sokszorta összetettebb, mint a Go.
Nem annyira látható,
de az is döntési probléma.
Ha néhány új technológiára gondolunk,
melyek szárnyaikat bontogatják...
Noriko [Arai] megemlítette,
hogy a gépek még nem olvasnak,
legalábbis még nem értik.
De ez is el fog jönni,
és amikor bekövetkezik,
onnan már nem kell sok,

Russian: 
Переводчик: Nataliia Pysemska
Редактор: Yekaterina Jussupova
Это Ли Седоль.
Ли Седоль — один из лучших
игроков в го в мире,
и сейчас он в ситуации,
которую мои друзья
из Силиконовой долины
называют «Мама дорогая!» —
(Смех)
момент осознания того,
что искусственный интеллект развивается
гораздо быстрее, чем мы ожидали.
Итак, человечество проиграло партию в го.
Но как же реальный мир?
Ну, реальный мир гораздо больше
и сложнее, чем доска для игры в го.
Несмотря на то,
что это не столь очевидно,
всё упирается в принятие решений.
Если мы задумаемся о грядущих
технологических инновациях...
Норико [Араи] упомянула,
что машины ещё не понимают
смысл прочитанного.
Но в будущем это произойдёт,
и в этот момент,
совсем скоро,

Chinese: 
翻译人员: Yichen Zheng
校对人员: Yanyan Hong
这是李世石。
李世石是全世界
最顶尖的围棋高手之一，
在这一刻，他所经历的
足以让我硅谷的朋友们
喊一句”我的天啊“——
（笑声）
在这一刻，我们意识到
原来人工智能发展的进程
比我们预想的要快得多。
人们在围棋棋盘上已经输了，
那在现实世界中又如何呢？
当然了，现实世界要
比围棋棋盘要大得多，
复杂得多。
相比之下每一步也没那么明确，
但现实世界仍然是一个选择性问题。
如果我们想想那一些在不久的未来，
即将来临的新科技……
Noriko提到机器还不能进行阅读，
至少达不到理解的程度，
但这迟早会发生，
而当它发生时，
不久之后，

Persian: 
Translator: Iman Mirzadeh
Reviewer: Leila Ataei
این لی سادل هست.
لی سادل یکی از بزرگترین
بازیکن های Go (یک بازی فکری)در جهان هست.
و در حال تجربه لحظه‌ای هست
که دوستان من در سیلیکون ولی
بهش میگن لحظه "یا پیغمبر!"
(خنده حاضرین)
لحظه‌ای که م‌ف‌همیم
هوش مصنوعی واقعا داره سریعتر از چیزی که
انتظارشو داشتیم پیشرفت میکنه.
پس، انسان‌ها روی تخته Go باخته‌‌اند.
در دنیای واقعی چطور؟
باید بگم که دنیای واقعی خیلی بزرگتر
و بسیار بسیار پیچیده‌تر
از تخته بازی Go هست.
(دنیای واقعی) خیلی نامرئی‌تر هست،
ولی همچنان مساله تصمیم گیری هست.
و اگر درباره برخی از تکنولوژی‌ها فکر کنیم
که در حال ظهور هستند...
[Noriko [Arai اشاره کرده است که
توانایی خواندن هنوز در ماشین‌ها وجود ندارد،
حداقل همراه با فهمیدن نیست.
ولی این اتفاق خواهد افتاد.
و وقتی که به وقوع بپیوندد،
پس از آن، خیلی زود

Korean: 
번역: Hyein Jeng
검토: keun_young Lee
이 사람은 이세돌입니다.
이세돌은 세계에서 가장 뛰어난
바둑 기사 중 한명이죠.
보고 계신 이 사진의 순간에
실리콘벨리의 제 친구들은
"세상에나!" 라고 외쳤습니다.
(웃음)
바로 이 순간에
인공지능이 생각했던 것보다 빠르게
발전하고 있음을 깨닫게 되었죠.
자, 바둑판에서 인간들은 패배했습니다.
그럼 현실 세상에서는 어떨까요?
현실 세계는 훨씬 크고
바둑판보다 훨씬 복잡합니다.
한 눈에 들어오지도 않고
결정에 관한 문제도
여전히 남아있습니다.
그리고 새롭게 떠오르는 
기술들을 살펴보면
----------------------------------
노리코 아라이 교수가 말한대로 
독서하는 인공지능은 아직 없습니다.
적어도 이해를 동반한 독서 말이죠.
하지만 그런 인공지능도 출현할 겁니다.
그때가 되면
얼마 안돼서

Korean: 
인공지능은 인류가 지금까지 쓴
모든 것을 읽게 될 것입니다.
그리고 인공지능 기계들이 
그렇게 할 수 있게 되면
인간보다 더 멀리 예측하는 
능력을 갖게 되고
바둑 시합에서 이미 드러났듯이
인공지능 기계들이 더 많은 
정보에 접근할 수 있으면
실제 세계에서 우리보다 더 나은 
결정들을 할 수 있을 것입니다.
그러면 좋은 것일까요?
음, 그랬으면 좋겠네요.
우리 인류 문명을 통틀어
가치 있다고 여기는 모든 것들은
우리 지식에 바탕한 것입니다.
그리고 만약 우리가 더 많은
지식에 접근할 수 있다면
인류가 할 수 있는 것들에서 
진정한 한계는 없을 것입니다.
누군가 말했듯이 그렇게만 된다면
인류 역사상 가장 큰 사건이 되겠죠.
그런데 왜 사람들은 이런 말을 할까요?
인공지능(AI)이 우리 인류의 
종말을 가져올 거라고 말이죠.
인공지능이 새로운 것일까요?

Chinese: 
机器就将读遍人类写下的所有东西。
这将使机器除了拥有
比人类看得更远的能力，
就像我们在围棋中看到的那样，
如果机器能接触到比人类更多的信息，
则将能够在现实世界中
做出比人类更好的选择。
那这是一件好事吗？
我当然希望如此。
人类的全部文明，
我们所珍视的一切，
都是基于我们的智慧之上。
如果我们能掌控更强大的智能，
那我们人类的 创造力
就真的没有极限了。
我认为这可能就像很多人描述的那样
会成为人类历史上最重要的事件。
那为什么有的人会说出以下的言论，
说人工智能将是人类的末日呢？
这是一个新事物吗？

Spanish: 
poco después las máquinas habrán leído 
todo lo que la raza humana ha escrito.
Eso permitirá a las máquinas,
junto a su habilidad mirar más allá 
de lo que pueden los humanos,
como ya hemos visto en el Go,
si también tienen acceso 
a más información,
serán capaces de tomar 
mejores decisiones en el mundo real
que nosotros.
¿Es eso bueno?
Bueno, espero que sí.
Toda nuestra civilización,
todo lo que valoramos,
se basa en nuestra inteligencia.
Y si tuviéramos acceso
a mucha más inteligencia,
entonces no existirían límites
para lo que la raza humana pueda hacer.
Y creo que este podría ser, 
como han dicho algunos,
el mayor acontecimiento
de la historia de la humanidad.
Entonces, ¿por qué la gente afirma
cosas como esta?
Que la inteligencia artificial podría
significar el fin de la raza humana.
¿Es esto algo nuevo?

Turkish: 
insan türünün tarih boyunca yazdığı
her şeyi okumuş olacak.
Bu da makinelere
insanlardan daha öteye
bakma yetisini verecek.
Go oyununda gördüğümüz gibi
eğer daha fazla bilgiye erişebilirlerse,
gerçek hayatta bizden daha iyi
kararlar alabilecekler.
Peki bu iyi bir şey mi?
Umarım öyledir.
Tüm uygarlığımız,
değer verdiğimiz her şey
zekamıza dayanıyor.
Eğer bizlerin daha fazla zekaya
erişebilme şansı olsa
insan türünün yapabileceği şeylerin
bir sınırı olmayacak.
Sanırım bu, bazılarının
tanımladığı gibi
dünya tarihindeki en önemli
olay olacaktır.
Peki neden bazıları
yapay zekanın insan türünün
sonunu getirebileceğini söylüyor?
Bu yeni bir endişe mi?

English: 
machines will have read everything
that the human race has ever written.
And that will enable machines,
along with the ability to look
further ahead than humans can,
as we've already seen in Go,
if they also have access
to more information,
they'll be able to make better decisions
in the real world than we can.
So is that a good thing?
Well, I hope so.
Our entire civilization,
everything that we value,
is based on our intelligence.
And if we had access
to a lot more intelligence,
then there's really no limit
to what the human race can do.
And I think this could be,
as some people have described it,
the biggest event in human history.
So why are people saying things like this,
that AI might spell the end
of the human race?
Is this a new thing?

French: 
les machines liront tout
ce que la race humaine a jamais écrit.
Cela permettra aux machines,
qui ont la capacité de voir plus loin
que les hommes ne le peuvent,
comme démontré avec le jeu de go,
si elles ont accès à plus d'informations,
de prendre de meilleures 
décisions dans le monde réel que nous.
Est-ce donc une bonne chose ?
Eh bien, je l'espère.
Notre civilisation tout entière,
tout ce que nous apprécions,
est basé sur notre intelligence.
Et si nous avions accès
à une plus large intelligence,
alors il n'y aurait aucune limite
à ce que la race humaine peut faire.
Je pense que cela pourrait être,
comme certains l'ont décrit,
le plus grand moment
de l'histoire humaine.
Alors, pourquoi les gens
racontent-ils des choses comme :
« l'IA pourrait signifier
la fin de la race humaine ? »
Est-ce une chose nouvelle ?

Italian: 
le macchine dopo avranno letto tutto ciò
che gli umani hanno scritto.
E ciò permetterà alle macchine,
insieme all'abilità di guardare
molto più lontano degli umani,
come abbiamo già visto nel Go,
se avranno anche accesso
a più informazioni,
potranno prendere decisioni migliori
nel mondo reale rispetto a noi.
È una cosa buona?
Speriamo.
Tutta la nostra civiltà,
tutto ciò a cui diamo valore,
è basato sulla nostra intelligenza.
E se avessimo accesso
a molta più intelligenza,
allora non c'è davvero un limite
a ciò che la razza umana può fare.
E credo che ciò possa essere,
come alcuni lo hanno descritto,
l'evento più grande nella storia umana.
Quindi perché le persone dicono cose come
"L'IA potrebbe segnare la fine
della razza umana"?
È una cosa nuova?

Chinese: 
機器就能讀遍所有人類寫下的東西。
這會讓機器擁有比人類
更深刻的遠見和洞察力。
就如我們在這場圍棋博弈中所見，
如果機器能接觸到比人類更多的信息，
那機器將能夠在現實世界中
做出比人類更好的決策。
那這會是一件好事嗎？
我當然希望如此。
人類的全部文明，
我們所珍視的一切，
都是基於我們的智慧。
如果我們能獲得更強大的智慧，
那人類將無所不能了。
我在想，到時後就像
一些人所描述的那樣，
這會是人類歷史上最重要的事件。
那為什麽有的人會說出
以下的言論呢？
說人工智慧將是人類的末日呢？
這是新鮮事嗎？

Japanese: 
速やかに読破することでしょう
そうなると機械は
碁において見せた
人間より遠くまで
見通す力と合わせ
より多くの情報に
触れられるようになることで
実際の世の中でも 人間より優れた
判断ができるようになるでしょう
それは良いこと
なのでしょうか？
そうだと望みたいです
我々の文明そのもの 
我々が価値を置くすべては
我々の知性を
拠り所としています
はるかに多くの知性が
使えるようになったなら
人類に可能なことに
限界はないでしょう
ある人々が言っているように
これは人類史上最大の出来事に
なるかもしれません
ではなぜ「AIは人類の終焉を
意味するかもしれない」などと
言われているのでしょう？
これは新しいこと
なのでしょうか？

Persian: 
ماشین‌ها تمام آن‌چه را که
بشر نوشته است، خواهند خواند.
و این ماشین‌ها را قادر می‌سازد
که فراتر از انسان‌ها به آینده نگاه کنند،
همانطور که قبلاً در ‌Go دیده‌ایم،
اگر ماشین‌ها به اطلاعات بیشتری
دسترسی داشته باشند،
می‌توانند تصمیمات بهتری
در جهان واقعی نسبت به ما بگیرند.
آیا این یک اتفاق خوب است؟
خب، امیدوارم که باشه.
تمام تمدن ما،
هر چیزی که برایش ارزش قائل هستیم،
بر پایه هوشمندی ما است.
و اگر ما هوش بیشتری در اختیار داشتیم،
آن‌ وقت هیچ حد و مرزی برای کارهایی
که انسان می‌تواند بکند وجود نداشت.
و من فکر می‌کنم که،
همانطور که برخی توصیف کرد‌اند،
این می‌تواند
بزرگترین رویداد تاریخ بشریت باشد.
پس چرا بعضی‌ها حرفهایی میزنند،
مثلا اینکه هوش مصنوعی می‌تواند
خاتمه دهنده نسل بشر باشد؟
آیا این یک پدیده جدید است؟

Vietnamese: 
máy móc sẽ đọc hết
những thứ mà loài người đã viết.
Và điều đấy sẽ cho phép máy móc,
cùng với khả năng dự đoán 
xa hơn con người,
như chúng ta đã thấy trong cờ vây,
nếu chúng cũng có thể tiếp cận 
nhiều thông tin hơn,
chúng sẽ có thể đưa ra những quyết định
tốt hơn chúng ta trong thế giới thực.
Vậy đó có phải là điều tốt?
Tôi hi vọng vậy.
Toàn bộ nền văn minh của loài người,
tất cả những thứ chúng ta coi trọng,
đều dựa trên trí tuệ của chúng ta.
Và nếu chúng ta có thể sở hữu
nhiều trí tuệ hơn,
những thứ con người có thể làm
sẽ không có giới hạn.
Và tôi nghĩ đây có thể là,
như nhiều người đã miêu tả nó,
sự kiện lớn nhất trong lịch sử nhân loại.
[Chào mừng tới UTOPIA
Hãy tận hưởng hành trình của bạn]
Vậy tại sao mọi người lại nói
những điều như thế này,
AI có thể là sự chấm dứt của loài người?
Đây có phải là một điều mới mẻ?

German: 
werden Maschinen
sehr bald alles gelesen haben,
was Menschen je geschrieben haben.
Das wird Maschinen ermöglichen,
neben der Fähigkeit
weiter vorauszuschauen als Menschen,
wie wir bei Go schon sahen --
wenn sie auch noch mehr Information haben,
werden sie in der echten Welt bessere
Entscheidungen treffen können als wir.
Ist das gut?
Ich hoffe es.
Unsere gesamte Zivilisation,
alles, was wir wertschätzen,
basiert auf unserer Intelligenz.
Wenn wir Zugriff
auf mehr Intelligenz hätten,
dann kann die Menschheit alles erreichen.
Ich glaube, das könnte,
wie manche Leute es beschrieben,
das größte Ereignis in der
Geschichte der Menschheit sein.
Warum sagen Leute also,
dass KI das Ende der
Menschheit bedeuten könnte?
Ist das neu?

Modern Greek (1453-): 
οι μηχανές θα έχουν διαβάσει οτιδήποτε
έχει γραφτεί ποτέ από την ανθρωπότητα.
Και αυτό θα επιτρέψει στις μηχανές,
μαζί με την ικανότητα να βλέπουν
πιο μπροστά από τους ανθρώπους,
όπως είδαμε ήδη στο Γκο,
κι αν έχουν πρόσβαση
σε περισσότερες πληροφορίες,
να μπορούν να πάρουν πιο σωστές αποφάσεις
στον πραγματικό κόσμο από εμάς.
Είναι καλό, όμως, αυτό;
Το ελπίζω.
Ολόκληρος ο πολιτισμός μας,
οτιδήποτε έχουμε σε εκτίμηση,
είναι βασισμένο στην ευφυία μας.
Και αν είχαμε πρόσβαση
σε πολύ περισσότερη ευφυΐα,
τότε δεν υπάρχει κανένα όριο
στο τι μπορεί να κάνει η ανθρωπότητα.
Και αυτό θα ήταν,
όπως μερικοί το έχουν περιγράψει,
το σημαντικότερο γεγονός της ιστορίας μας.
Άρα, γιατί λέμε μερικά πράγματα όπως,
ότι η ΤΝ θα σημάνει
το τέλος της ανθρωπότητας;
Πρόκειται για κάτι καινούργιο;

iw: 
הן תקראנה את כל מה שהאנושות
כתבה אי פעם.
זה יקנה למכונות יכולת חדשה,
לצד יכולת החיזוי מעבר 
למה שבני האנוש מסוגלים לחזות,
כפי שנוכחנו לדעת במשחק גו,
אם תקבלנה גישה ליותר מידע,
הן תוכלנה לקבל החלטות טובות יותר
מאיתנו בעולם האמיתי.
האם זה טוב לנו?
ובכן, אני מקווה שכן.
הציביליזציה שלנו על כל ערכיה,
מבוססת על התבונה שלנו.
ולו היתה לנו גישה לתבונה רבה יותר,
אזי לא יהיה גבול למה 
שהאנושות תוכל לעשות.
ואני סבור כי זה היה יכול להיות,
כפי שאנשים מסוימים תיארו זאת,
הארוע הגדול בתולדות האנושות.
אז מדוע אנשים אומרים דברים כגון,
ב''מ עלולה לגרום לסוף האנושות?
האם זה חדש לנו?

Arabic: 
قبلَ أَنْ تقرأَ وتفهمَ
كلَّ ما توصّل إليهِ البشرُ مِن عِلم.
و هذا ما سيُمكِّنها،
باستخدامِ قُدُراتِها الهائلةِ
في حسابِ الاحتمالاتِ المستقبليّة،
كما رأينا لتوّنا في لعبةِ "غو"،
إنْ تمكّنت
من الوصولِ إلى المزيدِ من المعلومات،
من اتّخاذِ قراراتٍ أكثرَ منطقيّةً
من قراراتنا في العالمِ الواقعيّ.
إذاً، هل هذا شيءٌ جيّد؟
أتمنّى ذلكَ حقيقةً.
الحضارةُ البشريّةُ بأكملها
و كلّ شيءٍ ذو قيمةٍ لدينا
تمَّ بفضلِ ذكائنا نحن.
وإنْ تمكنّا من الحصولِ
على ذكاءٍ أكثر،
لن يكونَ حينها هناكَ شيءٌ
لن يستطيعَ البشرُ القيامَ به.
وأعتقدُ بأنّ إنجازاً كَهذا منَ الممكنِ
أن يُصنّف كما وصفهُ البعضُ
كأعظمِ إنجازٍ في تاريخِ البشريّة.
لماذا يقولُ بعضُ الأشخاصِ إذاً
أشياءَ كهذه:
بأنّ الذكاءَ الاصطناعيَّ سيقضي
على الجنسِ البشريّ؟
هل ظهرت هذهِ الفكرةُ من جديد؟

Portuguese: 
muito em breve, os computadores
terão lido tudo que o homem tiver escrito.
Isso permitirá aos computadores,
junto com a capacidade de olhar
mais adiante do que o homem,
como já vimos no Go,
se também tiverem acesso
a mais informação,
serem capazes de tomar decisões
melhores no mundo real do que nós.
Isso é bom?
Bem, espero que sim.
Toda a nossa civilização,
tudo o que valorizamos,
está baseada em nossa inteligência.
Se tivéssemos acesso
a muito mais informações,
não haveria limites para o homem.
Creio que seria, como alguns descreveram,
o maior evento na história da humanidade.
[Bem-vindo à Utopia.
Aproveite sua viagem.]
Então, por que as pessoas
dizem coisas como esta,
que a IA pode ser o sinal
do fim da raça humana?
Isso é novidade?

Russian: 
машины прочитают всё,
что когда-либо написали люди.
Благодаря этому машины
смогут предугадывать
развитие событий лучше, чем люди;
что и случилось во время игры в го.
Получив больший доступ к информации,
они смогут принимать
решения лучше, чем мы.
Хорошо ли это?
Надеюсь, что да.
Вся наша цивилизация, всё, чем мы дорожим,
основывается на нашем интеллекте.
Если бы наш интеллект увеличился,
человеческим возможностям
не было бы предела.
Думаю, это стало бы тем,
что некоторые называют
величайшим событием
в истории человечества.
Почему же тогда люди говорят,
что ИИ может положить конец человечеству?
Это что-то новое?

Hungarian: 
hogy elolvassanak mindent,
amit az emberi faj valaha leírt.
Ez képessé fogja tenni őket,
hogy távolabbra lássanak,
mint amire az ember képes,
ahogy a Go-ban már láttuk.
Ha még több információhoz is hozzáférnek,
képesek lesznek a való világban is
jobb döntéseket hozni nálunk.
Vajon ez jó hír?
Remélem.
A teljes civilizációnk, minden,
amit számunkra értéket képvisel,
az intelligenciánkon alapul.
Ha sokkal több intelligenciához
férnénk hozzá,
határtalan lehetőségek nyílnának meg
az emberi faj előtt.
Azt hiszem, ez lehet -
ahogy néhányan megfogalmazták -
az emberi történelem legnagyobb eseménye.
Mégis miért hangzanak el akkor olyanok,
hogy a MI az emberi faj végét jelentheti?
Ez valami új dolog?

Italian: 
Sono solo Elon Musk e Bill Gates
e Stephen Hawking?
In realtà no. Questa idea
circola da un po'.
C'è una citazione:
"Anche se potessimo tenere le macchine
in una posizione subordinata,
ad esempio, staccando la corrente
in momenti strategici" --
e ritornerò più tardi su quell'idea 
di "staccare la corrente"
"dovremmo, come specie,
sentirci fortemente umiliati."
Chi l'ha detto?
Questo è Alan Turing nel 1951.
Alan Turing, come sapete,
è il padre dell'informatica
e per molti versi,
anche il padre dell'IA.
Se pensiamo a questo problema,
il problema di creare qualcosa
di più intelligente della nostra specie,
potremmo chiamarlo 
il "problema del gorilla",
perché gli antenati dei gorilla
lo hanno fatto milioni di anni fa,
e adesso possiamo chiedere loro:
è stata una buona idea?
Qui si stanno incontrando
per discutere se è stata una buona idea,
e dopo un po',
arrivano alla conclusione: no,
è stata un'idea terribile.

iw: 
האם אלה רק אלון מאסק, 
ביל גייטס וסטיבן הוקינג?
לא. רעיון זה כבר קיים זמן מה.
הרי הציטוט:
"אפילו אם היינו מסוגלים לשלוט
במכונות כבמשרתים בלבד,
למשל על ידי כיבוי אספקת חשמל
ברגעים קריטיים" --
אחזור לנושא "כיבוי החשמל"
בהמשך --
"אנחנו כמין צריכים להרגיש ענווה גדולה."
מי אמר זאת?
אלן טורינג ב-1951.
כידוע לכם, אלן טיורינג הוא אבי מדע המחשב
ובמובנים רבים, גם אבי הב''מ.
אם חושבים על הבעייתיות שביצירת
משהו שחכם יותר ממינך שלך,
ניתן לכנות זאת "בעיית הגורילה",
היות ואבות אבותיהן של הגורילות 
עשו זאת לפני מיליוני שנה,
וכיום נוכל לשאול את הגורילות:
האם זה היה רעיון טוב?
הינה הם עורכים דיון
על טיב הדבר
ואחרי זמן מה הם קובעים שזה- לא!
זה היה רעיון נוראי.
מין הגורילות במצוקה קשה.

Vietnamese: 
Phải chăng chỉ có 
Elon Musk, Bill Gates và Stephen Hawking?
Thực ra là không.
Ý tưởng này đã có trước đây.
Đây là một trích dẫn:
"Ngay cả khi chúng ta có thể giữ 
máy móc như một công cụ,
chẳng hạn như, bằng cách tắt nguồn
khi chúng ta muốn"--
và tôi sẽ quay lại 
với khái niệm "tắt nguồn" sau --
chúng ta vẫn nên cảm thấy khiêm tốn hơn.
Vậy ai đã nói điều này?
Chính là Alan Turing vào năm 1951.
Alan Turing, như bạn đã biết,
là cha đẻ của khoa học máy tính,
và theo nhiều cách,
ông cũng là cha đẻ của AI.
Nếu chúng ta nghĩ về vấn đề này,
tạo nên một loài
thông minh hơn loài của chính bạn,
có thể gọi nó là "vấn đề gorilla,"
bởi vì tổ tiên gorilla
đã làm việc này từ hàng triệu năm trước,
và bây giờ chúng ta có thể hỏi chúng:
Đây có phải là một ý tưởng hay?
Và chúng đang có một buổi họp để thảo luận
xem đây có phải là một ý tưởng hay,
và sau một khoảng thời gian,
chúng kết luận: Không,
đó là một ý tưởng tồi tệ.

Modern Greek (1453-): 
Τα λένε αυτά μόνο οι Έλον Μασκ,
Μπιλ Γκέιτς και Στίβεν Χόκινγκ;
Στην πραγματικότητα, όχι. 
Η ιδέα αυτή κυκλοφορεί εδώ και καιρό.
Δείτε μια παράθεση,
«Ακόμα και αν μπορούσαμε να κρατήσουμε
τις μηχανές σε θέση υποταγής,
για παράδειγμα, απενεργοποιώντας τες
σε στρατηγικές στιγμές»
-θα επανέλθω στο ζήτημα
της «απενεργοποίησης» αργότερα-
«θα έπρεπε ως είδος να νιώθουμε
ιδιαίτερα ταπεινωμένοι».
Ποιος το είπε αυτό;
Ο Άλαν Τούρινγκ το 1951.
Όπως γνωρίζετε, είναι ο πατέρας 
της επιστήμης υπολογιστών
και κατά πολλούς τρόπους,
ο πατέρας της ΤΝ επίσης.
Οπότε, αν σκεφτούμε το πρόβλημα,
να δημιουργήσουμε κάτι 
πιο ευφυές από το είδος μας,
ας το αποκαλέσουμε «πρόβλημα του γορίλα»,
επειδή οι πρόγονοι του γορίλα
το έκαναν αυτό πριν εκατομμύρια χρόνια,
και ας τους ρωτήσουμε τώρα:
Ήταν καλή ιδέα;
Οπότε, τώρα έχουν συνάντηση
για να κουβεντιάσουν εάν ήταν καλή ιδέα,
και μετά από λίγο καταλήγουν πως,
όχι, ήταν μια φρικτή ιδέα.
Το είδος τους είναι σε δεινή θέση.

Spanish: 
¿Se trata solo de Elon Musk 
y Bill Gates y Stephen Hawking?
En realidad, no. Esta idea no es nueva.
He aquí una cita:
"Incluso si pudiéramos mantener las
máquinas en una posición servil,
por ejemplo, desconectándolas
en momentos estratégicos"
--volveré a esa idea de 
"quitar la corriente" más adelante--
"deberíamos, como especie,
sentirnos humillados".
¿Quién dijo esto?
Este es Alan Turing, en 1951.
Alan Turing, como Uds. saben,
es el padre de la informática
y en muchos sentidos 
también el padre de la IA.
Así que si pensamos en este problema,
el problema de crear algo
más inteligente que tu propia especie,
podríamos llamar a esto
"el problema del gorila".
Porque los antepasados de los gorilas
hicieron esto hace unos millones de años,
y ahora podríamos
preguntar a los gorilas:
¿Fue una buena idea?
Aquí están, reunidos para discutir 
si fue una buena idea,
y pasado un tiempo concluyen que no.
Fue una idea terrible.
Nuestra especie está en apuros.

Japanese: 
ただイーロン・マスクと ビル・ゲイツと
ホーキングが言っているだけなのか？
違います
この考えは結構前からありました
ここに ある人の
言葉があります
「重大な瞬間にスイッチを切る
といったことによって
機械を 従属的な位置に
保てたとしても —
この “スイッチを切る” ことについては
後でまた戻ってきます —
種としての我々は
謙虚に捉えるべきである」
誰の言葉でしょう？ アラン・チューリングが
1951年に言ったことです
ご存じのように チューリングは
コンピューター科学の父であり
いろいろな意味で
AIの父でもあります
この問題を考えてみると
つまり自分の種よりも知的なものを
生み出してしまうという問題ですが
これは「ゴリラの問題」と呼んでも
良いかもしれません
なぜなら数百万年前に
ゴリラの祖先がそうしているからで
ゴリラたちに
尋ねることができます
「いいアイデアだったと思う？」
ゴリラたちが いいアイデアだったのか
議論するために 集まっていますが
しばらくして
出した結論は
「あれは酷いアイデアだった」
というものです

Chinese: 
這僅僅只是伊隆馬斯克、比爾蓋茲、
史蒂芬霍金的新發明嗎？
實際上不是，這個概念
已經存在很長的時間了。
請看這段話：
「即便我們能讓機器屈從於我們，
比如說，在重要時刻關掉它。」
我等會兒會再來討論
「關機」這一話題。
「我們作為人類，仍應懷着謙卑......」
這段話是誰說的呢？
是艾倫 · 圖靈在 1951 年說的。
眾所皆知艾倫 · 圖靈是計算機科學之父，
並且從很多方面來講，
他也是人工智慧之父。
所以，當我們在思考「創造出
比自己更聰明的物種」這個問題時，
我們不妨將它稱為「大猩猩問題」。
因為大猩猩的祖先們
在幾百萬年前就親歷此境，
我們可以去問大猩猩們：
「這是不是一個好主意？」
圖片中，牠們正在開會討論
那麽做是不是一個好主意，
過了一會兒，牠們總結出：「不。」
這是個很爛的主意──

German: 
Sind es nur Elon Musk, Bill Gates
und Stephen Hawking?
Nein. Diese Idee gibt es schon länger.
Hier ist ein Zitat:
"Selbst wenn wir die Maschinen
in unterwürfiger Stellung halten könnten,
z. B. indem wir den Strom abschalten" --
ich werde später auf
diese Idee eingehen --
"sollten wir uns als
Spezies demütig fühlen."
Wer hat das gesagt? Alan Turing, 1951.
Alan Turing, wie Sie wissen,
ist der Vater der Informatik
und in vielerlei Hinsicht auch der KI.
Wenn wir also über
dieses Problem nachdenken,
etwas Intelligenteres als unsere
eigene Art zu entwerfen,
könnten wir es als
"Gorilla-Problem" bezeichnen,
weil die Vorfahren der Gorillas
das vor Jahrmillionen taten.
Wir können die Gorillas jetzt fragen:
War das eine gute Idee?
Hier sind sie bei einem Meeting
und besprechen, ob es eine gute Idee war.
Sie kommen zu dem Schluss, nein,
es war eine schlechte Idee.

Hungarian: 
Csak Elon Musk, Bill Gates
és Stephen Hawking gondolja így?
Valójában nem. 
Ez már régebb óta kísértő elgondolás.
Nézzük ezt az idézetet:
"Még ha képesek is lennénk a gépeket
alárendelt szolgai szerepben tartani,
például úgy, hogy kritikus helyzetekben
kikapcsolnánk őket," -
később még visszatérek
erre a kikapcsolás-ötletre -
"mi, mint élőlények, nagyon megalázva
éreznénk magunkat."
Ki mondta ezt?
Alan Turing 1951-ben.
Alarn Turingról tudjuk,
hogy a számítástudomány atyja,
és sok tekintetben a MI atyja is.
Ezt a problémakört,
amikor saját fajunknál intelligensebb
teremtményeket hozunk létre,
hívhatjuk a "gorilla-problémának",
mivel gorilla őseink épp ezt csinálták,
néhány millió évvel ezelőtt,
így most megkérdezhetjük a gorillákat:
Jó ötlet volt?
Itt éppen arról értekeznek,
hogy jó ötlet volt-e,
és kisvártatva arra jutnak, hogy nem,
ez szörnyű ötlet volt.
Fajunk a kihalás szélén áll.

Portuguese: 
Trata-se apenas de Elon Musk,
Bill Gates e Stephen Hawking?
Na verdade, não. Esta ideia
está por aí há algum tempo.
Aqui está uma citação:
"Mesmo que pudéssemos manter
os computadores em posição submissa,
desligando, por exemplo, a energia
em momentos estratégicos",
voltarei mais tarde com essa ideia
de "desligar a energia",
"deveríamos, como espécie,
nos sentir muito humilhados".
Quem disse isso?
Foi Alan Turing, em 1951.
Alan Turing, como sabem,
é o pai da informática
e, de muitas formas, o pai da IA também.
Se pensarmos sobre o problema
de criar algo mais inteligente
do que a própria espécie,
podemos chamar isso
de "problema do gorila",
porque os ancestrais dos gorilas
fizeram isso há milhões de anos,
e podemos agora perguntar a eles:
"Foi uma boa ideia?"
Aqui estão eles tendo uma reunião
para discutir se foi uma boa ideia,
e, depois de um tempo, concluem que não,
foi uma péssima ideia.

Turkish: 
Yani bunu düşünen sadece Elon
Musk, Bill Gates ve Stephen Hawking mi?
Aslında hayır. Bu fikir
uzun zamandır var.
İşte size bir alıntı:
''Makineleri itaatkâr bir pozisyonda
tutabiliyor olsak bile
-örneğin güç ünitelerini
stratejik anlarda kapatarak-
(birazdan bu ''güç ünitesini kapama''
fikrine geri döneceğim)
insan türü olarak bizler
çok aşağılanmış gibi hissedeceğiz."
Peki bunu kim söyledi?
1951 yılında Alan Turing.
Alan Turing bildiğiniz gibi
bilgisayar biliminin
ve ayrıca pek çok yönden
yapay zekanın da babasıdır.
Eğer bu problemi kendi türümüzden
daha zeki bir tür yaratma
problemi olarak düşünürsek,
buna ''goril problemi'' de 
diyebiliriz.
Çünkü gorillerin ataları
bunu birkaç milyon yıl önce yaptı:
Gorillere bugün şu soruyu sorabiliriz:
Bu iyi bir fikir miydi?
Burada toplantıdalar 
ve bu fikri değerlendiriyorlar.
Sonunda da bunun kötü bir fikir 
olduğuna karar veriyorlar.

Arabic: 
هل هي مجرّد فكرةٍ يؤمنُ بها كلٌّ من
إيلون ماسك، بيل غيتس، وستيفن هوكنغ؟
حقيقةً لا،
هذه الفكرةُ موجودةٌ منذ زمنٍ بعيد.
وسأعرِضُ لَكُم مقولةً شهيرة:
"حتى ولوّ تمكّنا
من إبقاءِ الآلاتِ تحتَ سيطرتنا"
"عبرَ إطفاءِها مثلاً حينما يلزمُ الأمر"
وسأعودُ لاحقاً لهذهِ الفكرة
-قطع مصدر الطاقة عن الآلة-
"علينا كبشر أن نشعر بالتواضع."
مقولةُ من هذه إذاً؟
إنّها مقولةُ آلان تورينغ، عامَ 1951
آلان تورينغ كما نعلمُ جميعاً
هو مؤسّسُ علومِ الحاسب
والأبُ الروحيّ للذكاءِ الاصطناعيِّ كذلك.
إنْ فكّرنا إذاً في هذهِ القضيّة،
قضيّةُ صُنعِ شيءٍ أكثرَ ذكاءً
ممّا أنتَ عليه
قد نجد "قضيّة الغوريلا"
اسماً مناسباً لها،
لأنَّ أجدادَ الغوريلا قاموا بهذا
منذُ عدّةِ ملايينِ سنة،
لِمَ لا نستشيرُ الغوريلّا إذاً:
هَل كانتْ هذهِ فكرةً جيّدة؟
وها هُم يتباحثون فيما بينهم
ليُقدّموا لّنا الإجابة،
ويبدو أنّ إجابتهم بالإجماعِ هيَ:
"لا! لقد كانت فكرةً فظيعة!"

Russian: 
Это лишь мнение Илона Маска,
Билла Гейтса и Стивена Хокинга?
На самом деле нет.
Эта идея появилась довольно давно.
Вот цитата:
«Даже если бы мы сохранили
власть над машинами,
например, имея возможность
отключить их в любой момент, —
чуть позже я вернусь
к этой идее отключения, —
мы, как вид, должны чувствовать себя
довольно униженными».
Кто же сказал это?
Алан Тьюринг в 1951 году.
Как известно, Алан Тьюринг
является отцом информатики,
а также, во многих аспектах, отцом ИИ.
Если мы задумаемся
над проблемой создания чего-то
более разумного, чем наш вид,
это можно будет назвать
«проблемой гориллы»,
потому что предки горилл думали об этом
несколько миллионов лет назад,
и теперь гориллам можно задать вопрос:
«Это была хорошая идея?»
Они бы собрались, чтобы решить,
была ли это хорошая идея,
и через некоторое время
пришли бы к заключению,
что это была ужасная идея.

Chinese: 
这只关乎伊隆马斯克、
比尔盖茨，和斯提芬霍金吗？
其实不是的，人工智能
这个概念已经存在很长时间了。
请看这段话：
“即便我们能够将机器
维持在一个屈服于我们的地位，
比如说，在战略性时刻将电源关闭。”——
我等会儿再来讨论
”关闭电源“这一话题，
”我们，作为一个物种，
仍然应该自感惭愧。“
这段话是谁说的呢？
是阿兰图灵，他在1951年说的。
阿兰图灵，众所皆知，
是计算机科学之父。
从很多意义上说，
他也是人工智能之父。
当我们考虑这个问题，
创造一个比自己更智能的
物种的问题时，
我们不妨将它称为”大猩猩问题“，
因为这正是大猩猩的
祖先们几百万年前所经历的。
我们今天可以去问大猩猩们：
那么做是不是一个好主意？
在这幅图里，大猩猩们正在
开会讨论那么做是不是一个好主意，
片刻后他们下定结论，不是的。
那是一个很糟糕的主意。
我们的物种已经奄奄一息了，

Persian: 
آیا فقط ایلان ماسک و بیل گیتس
و استیون هاوکینگ هستند؟
راستش، نه.
این ایده خیلی وقته که وجود دارد.
یه نقل قول میگه:
«حتی اگر میتونستیم ماشین‌ها رو
فرمانبردار نگه داریم
مثلا با خاموش کردنشان در لحظات استراتژیک»
-- و من بعداً
به ایده «خاموش کردن»برمی‌گردم--
«ما به عنوان یک گونه،
باید خیلی احساس پستی کنیم»
کی این رو گفته؟
آلن تورینگ در سال ۱۹۵۱
آلن تورینگ، همانطور که می‌دانید
پدر علم کامپیوتر هست.
و از خیلی از جهات،
پدر علم هوش مصنوعی هم هست.
پس اگر درباره این مساله فکر کنیم،
مساله ساختن چیزی هوشمندتر از
گونه خودمان،
شاید این رو «مساله گوریل» بنامیم.
چون اجداد گوریل‌ها این کار رو
چند میلیون‌ سال قبل انجام داده اند،
و الان می‌توانیم از گوریل‌ها بپرسیم که:
آیا این کار ایده‌ خوبی بود؟
اینم از گوریل‌هایی که در جلسه‌ای،
درباره اینکه آیا ایده خوبی بود بحث میکنند
و بعد از مدت کوتاهی،
به این نتیجه میرسن که، نه
یک ایده افتضاح بود
گونه ما،‌ در تنگنای بدی قرار دارد

English: 
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
Actually, no. This idea
has been around for a while.
Here's a quotation:
"Even if we could keep the machines
in a subservient position,
for instance, by turning off the power
at strategic moments" --
and I'll come back to that
"turning off the power" idea later on --
"we should, as a species,
feel greatly humbled."
So who said this?
This is Alan Turing in 1951.
Alan Turing, as you know,
is the father of computer science
and in many ways,
the father of AI as well.
So if we think about this problem,
the problem of creating something
more intelligent than your own species,
we might call this "the gorilla problem,"
because gorillas' ancestors did this
a few million years ago,
and now we can ask the gorillas:
Was this a good idea?
So here they are having a meeting
to discuss whether it was a good idea,
and after a little while,
they conclude, no,
this was a terrible idea.
Our species is in dire straits.

French: 
Cela ne concerne-t-il qu' Elon Musk, 
Bill Gates et Stephen Hawking ?
En fait, non.
Cette idée existe depuis un moment.
Voici une citation :
« Même si nous pouvions garder les
machines dans une position subalterne,
par exemple, en coupant
l'énergie à des moments stratégiques... »
et je reviendrai sur cette idée
de « couper l'énergie » plus tard...
« Nous devrions, en tant qu'espèce,
faire preuve d'humilité. »
Donc qui a dit ça ?
C'est Alan Turing en 1951.
Alan Turing, vous le savez,
est le père de l'informatique
et à bien des égards,
le père de l'IA également.
Si nous pensons à ce problème,
celui de créer quelque chose de plus
intelligent que notre propre espèce,
appelons cela
« le problème du gorille »,
parce que leurs ancêtres ont vécu cela
il y a quelques millions d'années,
nous pouvons donc leur demander :
« Était-ce une bonne idée ? »
Donc, ils ont eu une réunion
pour savoir si c'était une bonne idée
et après un petit moment,
ils conclurent que non,
c'était une mauvaise idée.
« Notre espèce est en difficulté. »

Korean: 
엘런 머스크, 빌 게이츠, 스티븐 호킹.
이런 사람들만 아는 것인가요?
사실, 아닙니다. 
이 개념이 나온 지는 좀 되었죠.
이런 말이 있습니다.
"중요한 순간에 전원을 꺼버리는 식으로
기계를 우리 인간에게 계속 
복종하도록 만들 수 있더라도.."
"전원을 끈다"는 개념은 나중에 
다시 설명하겠습니다.
"우리는 인류로서 
겸손함을 느껴야 합니다. "
누가 한 말일까요? 앨런 튜링이
1951년에 한 말입니다.
앨런 튜링은 아시다시피 
컴퓨터 과학의 아버지입니다.
그리고 여러 측면에서 
인공지능의 아버지이기도 하죠.
이런 문제를 생각해볼까요.
우리 인류의 지능을 뛰어넘는
무언가를 창조하는 문제입니다.
이른바 "고릴라 문제"라 할 수 있죠.
수만 년 전 고릴라들의 조상들도 
같은 고민을 했을테니까요.
그럼 이제 고릴라들에게 
이렇게 물어보면 어떨까요.
"좋은 아이디어였나요?"
고릴라들은 좋은 생각이었는지
의논하기 위해 모였습니다.
그리고 잠시 후 결론을 내립니다.
최악의 아이디어였다고 결론짓죠.

Chinese: 
作為靈長類的我們正岌岌可危。
你可以從牠們的眼神中
看到存亡攸關的憂傷。
（笑聲）
「創造出比你自己更聰明的物種
並不是什麽妙計」
這種感覺很倒胃口。
那我們能做些什麽呢？
其實，除非停止人工智慧的研究，
否則束手無策。
因為我所提到的人工智慧的各種裨益，
也因為我是人工智慧的研究人員，
我可不同意就此止步。
實際上，我想一直研究人工智慧。
所以我們需要更加明確問題所在。
這個問題到底是什麽呢？
為什麽更強大的人工智慧
可能會是個災難呢？
還有一句名言：
「我們最好確保我們向機器發出的指令
與我們的真正目的相吻合。」
這句話是諾伯特 · 維納在 1960 年說的，
就在他看完一個早期的學習系統
（Learning System）之後。
這個系統在學習如何能把
西洋棋下得比發明它的人更好。

Portuguese: 
Nossa espécie está em apuros.
Sim, você pode ver a tristeza
existencial nos olhos deles.
(Risos)
Esta sensação desconfortável de algo
mais inteligente do que a própria espécie
talvez não seja uma boa ideia.
O que podemos fazer a respeito?
Bem, realmente nada,
a não ser parar de fazer IA,
e, por causa de todos
os benefícios que mencionei
e, por ser pesquisador de IA,
não permitirei isso.
Quero mesmo poder continuar a fazer IA.
Temos, na realidade,
que decidir sobre o problema.
Qual é o problema exatamente?
Por que a IA pode ser uma catástrofe?
Aqui está uma outra citação:
"É melhor termos certeza
de que a missão passada ao computador
é o que realmente desejamos".
Isso foi dito por Norbert Wiener, em 1960,
pouco depois de ter visto
um dos sistemas de aprendizagem
aprender a jogar damas
melhor do que seu criador.

Korean: 
그 때문에 자신들이 
곤경에 처했다면서요.
실제로 그들 눈에서 
존재론적 슬픔이 엿보이네요.
(웃음)
따라서 우리보다 더 뛰어난 무언가를 
만들어낸다는 이러한 초조한 느낌은
좋은 아이디어가 아닐 겁니다.
그럼 어떻게 해야 할까요?
음, 사실 인공지능을 중단시키는 것 
말고는 딱히 방법이 없습니다.
그리고 제가 앞서 말씀드렸던 
모든 장점들 때문이기도 하고
물론 제가 인공지능을 
연구하고 있어서도 그렇지만
저는 중단을 고려하지는 않습니다.
저는 사실 계속 인공지능을
가능하게 하고 싶습니다.
여기서 이 문제에 대해 좀 더 
살펴볼 필요가 있습니다.
문제가 정확히 무엇일까요?
왜 뛰어난 인공지능은 재앙을 뜻할까요?
자, 이런 말도 있습니다.
"기계에 부여한 그 목적이
우리가 정말 원했던 목적인지를
좀 더 확실히 해두었어야 합니다."
이건 노버트 위너가 
1960년에 한 말입니다.
매우 초기의 기계 학습 장치가
체스 두는 법을 배우고
사람보다 체스를 더 잘 두게 
된 것을 보고 바로 한 말이죠.

Modern Greek (1453-): 
Πραγματικά, μπορείς να δεις
την υπαρξιακή κρίση στα μάτια τους.
(Γέλια)
Αυτό το ανησυχητικό προαίσθημα
ότι μάλλον δεν είναι καλή ιδέα
η δημιουργία κάτι 
πιο έξυπνου από το είδος μας,
τι μπορούμε να κάνουμε γι' αυτό;
Βασικά τίποτα, εκτός από το
να σταματήσουμε να φτιάχνουμε ΤΝ,
που λόγω όλων των πλεονεκτημάτων
που προανέφερα,
και επειδή είμαι ερευνητής της,
δεν το ανέχομαι.
Πραγματικά, θέλω να συνεχίσω
την έρευνα της ΤΝ.
Οπότε, χρειάζεται να προσδιορίσουμε
καλύτερα το πρόβλημα.
Ποιο είναι ακριβώς το θέμα;
Γιατί μια καλύτερη ΤΝ είναι
πιθανώς μια καταστροφή;
Ορίστε άλλη μια παράθεση,
«Πρέπει να σιγουρευτούμε ότι ο σκοπός
που θα αναθέσουμε σε μια μηχανή,
είναι ο σκοπός που πραγματικά επιθυμούμε».
Αυτό ειπώθηκε από
τον Νόρμπερτ Βίνερ το 1960,
λίγο αφότου παρακολούθησε ένα από τα πρώτα
συστήματα που μαθαίνουν μόνα τους
να παίζει ντάμα καλύτερα
από τον δημιουργό του.

Vietnamese: 
Chúng ta đang ở trong 
hoàn cảnh rất khó khăn.
Thậm chí, bạn có thể nhìn thấy
nỗi buồn hiện hữu trong mắt chúng.
(Cười)
Vậy cảm giác bất an rằng
tạo ra một loài thông minh hơn
chính loài của chúng ta
có thể không phải là một ý kiến hay --
Chúng ta có thể làm gì nó?
Thực sự là không gì cả,
trừ việc ngừng tạo ra AI,
và bởi vì những lợi ích
mà tôi vừa kể ra
cũng như tôi là một nhà nghiên cứu về AI,
tôi sẽ không làm như thế.
Tôi vẫn muốn tiếp tục làm về AI.
Chúng ta cần phải
cụ thể hóa vấn đề hơn một chút.
Chính xác thì đâu mới là vấn đề?
Vì sao AI tốt hơn lại có thể 
đem lại nhiều tai họa?
Đây là một câu trích dẫn khác:
"Chúng ta nên đảm bảo rằng
mục đích mà chúng ta đưa vào máy móc
là mục đích mà chúng ta 
thực sự mong muốn."
Đây là câu nói
của Norbert Wiener năm 1960,
không lâu sau khi ông ấy được xem
một trong những hệ thống 
học tập thời đầu
học cách chơi cờ Đam
giỏi hơn người tạo ra nó.

Arabic: 
"نحنُ في حالةٍ يُرثى لها."
يمكننا حقيقةً رؤيةُ التعاسةِ جيّداً
في أعينهم.
(ضحك)
ويبدو بأنّه قد حانَ دورنا
لِنُحسَّ بأنَّ صُنعَ شيءٍ أذكى مِنّا
قد لا يكونُ فكرةً سديدة --
لكن ما الحلّ حيالَ هذا؟
حسنًا، لا شيء، ماعدا التوقفُ
عن تطويرِ تقنيّات الذكاءِ الاصطناعي،
ولكنْ نظراً للفوائدِ التي ذكرتُها
ولأنني باحث في هذا المجال
فأنا لن أقبل بحلٍّ كهذا.
أودّ حقيقةً الاستمرارَ
في تطويرِ هذهِ التقنيّات.
لذا أرى بأنّه علينا
أنْ نكونَ أكثرَ وضوحاً.
ونجدَ المشكلةَ الحقيقيّة.
لمَ قد يؤدّي تحسينُ هذه التقنياتِ
إلى نتائجَ كارثيّة؟
سأعرضُ لكم مقولةً أخرى:
"كانَ علينا أن نتأكد 
من أن المغزى من تصميم آلة
هو المغزى الذي نرجوه حقيقة"
هذا ما قالهُ نوربرت ويينر
عامَ 1960،
بعدَ مُشاهدتهِ أحدَ أوّل الآلاتِ الذكيّةِ
تتغلّبُ على مُخترعها في لعبةِ "تشيكرز".

French: 
En fait, vous pouvez voir de la tristesse
existentielle dans leurs yeux.
(Rires)
Ce sentiment gênant d'avoir créé
quelque chose de plus intelligent
que votre propre espèce alors que
ce n'est peut-être pas une bonne idée...
« Que pouvons-nous y faire ? »
Eh bien, rien,
sauf abandonner l'IA.
Mais à cause de tous les avantages
que j'ai mentionnés
et parce que je suis chercheur en IA,
je ne peux m'y résoudre.
Je veux réellement continuer
à travailler sur l'IA.
Nous avons besoin de définir
un peu plus le problème.
Quel est donc le problème ?
Pourquoi une meilleure IA
pourrait être une catastrophe ?
Voici une autre citation :
« Nous devrions être certains
que l'objectif introduit dans la machine
est bien l'objectif que nous souhaitons. »
C'est une citation de 
Norbert Wienner en 1960,
peu après qu'il a observé
l'un des premiers systèmes d'apprentissage
apprendre à mieux jouer aux échecs
que son créateur.

Russian: 
Наш вид находится в ужасном состоянии.
Фактически в их глазах можно увидеть
экзистенциальную печаль.
(Смех)
Что нам делать с тошнотворным ощущением,
что создание кого-то умнее нас
может оказаться не лучшей идеей?
Единственный выход —
прекратить разработку ИИ.
Но, учитывая упомянутые мной преимущества
и тот факт, что я исследователь ИИ,
лично я против.
Я хочу продолжать создавать ИИ.
Поэтому нам следует
обсудить проблему более подробно.
В чём суть проблемы?
Почему совершенный ИИ может
обернуться катастрофой?
Вот ещё цитата:
«Нам следует быть уверенными,
что цели, заложенные в машину,
совпадают с нашими желаниями».
Это сказал Норберт Винер в 1960 году,
вскоре после того, как увидел,
как одна из первых обучающихся систем
научилась играть в шашки
лучше своего создателя.

Persian: 
در واقع، شما می‌توانید غم عالم رو
در چشمانشان ببینید
(خنده حاضرین)
پس شاید این احساس ناراحتی از به وجود آوردن
چیزی هوشمندتر از گونه خود
ایده خوبی نباشد
ما چه کاری از دستمان برمی‌آید؟
درواقع، هیچی به جز متوقف کردن هوش مصنوعی،
و به دلیل تمام فوایدی که گفتم
و به دلیل اینکه من یک 
محقق هوش مصنوعی هستم
من این مورد رو قبول ندارم.
من میخوام که بتوانم همچنان
روی هوش مصنوعی کار کنم.
پس باید این مساله رو بیشتر واکاوی کنیم.
مشکل واقعا چی هست؟
چرا هوش مصنوعی بهتر
منجر به فاجعه می‌شود؟
اینم یک نقل قول دیگه:
«بهتره که مطمئن باشیم
هدفی که در ماشین‌ قرار‌ میدهیم
همان هدفی است که واقعا میخواهیم.»
که توسط نوربرت وینر در ۱۹۶۰ گفته شده،
بلافاصله بعد از اینکه وی دید
یکی از سیستم‌های یادگیرنده اولیه
بازی چکرز رو
بهتر از سازندگانش بازی می‌کند.

English: 
In fact, you can see the existential
sadness in their eyes.
(Laughter)
So this queasy feeling that making
something smarter than your own species
is maybe not a good idea --
what can we do about that?
Well, really nothing,
except stop doing AI,
and because of all
the benefits that I mentioned
and because I'm an AI researcher,
I'm not having that.
I actually want to be able
to keep doing AI.
So we actually need to nail down
the problem a bit more.
What exactly is the problem?
Why is better AI possibly a catastrophe?
So here's another quotation:
"We had better be quite sure
that the purpose put into the machine
is the purpose which we really desire."
This was said by Norbert Wiener in 1960,
shortly after he watched
one of the very early learning systems
learn to play checkers
better than its creator.

Japanese: 
おかげで我々の種は
ひどい苦境に置かれていると
彼らの目に実存的な悲哀を
見て取れるでしょう
(笑)
「自分の種より知的なものを
生み出すのは
良い考えではないのでは？」
という不安な感覚があります
それについて
何ができるのでしょう？
AIの開発をやめてしまう以外
ないかもしれませんが
AIのもたらす様々な利点や
私自身AI研究者である
という理由によって
私にはそういう選択肢は
ありません
実際AIは続けたいと
思っています
この問題をもう少し
明確にする必要があるでしょう
正確に何が問題なのか？
優れたAIが我々の破滅に繋がりうるのは
なぜなのか？
ここにもう１つ
引用があります
「機械に与える目的については
それが本当に望むものだと
確信があるものにする必要がある」
これはノーバート・ウィーナーが
1960年に言ったことで
最初期の学習システムが
作り手よりもうまくチェッカーを
指すのを見た すぐ後のことです

iw: 
למעשה, אתם יכולים לראות
את העצב הקיומי בעיניהן.
(צחוק)
לגבי ההרגשה המבחילה הזאת 
שיצירת משהו שעולה עליך בחוכמתו
איננו רעיון טוב --
מה עושים איתה?
האמת היא שכלום,
חוץ מעצירת פיתוח ב''מ.
בגלל כל היתרונות שהזכרתי
ובגלל שאני חוקר ב''מ,
אני לא מקבל את אפשרות העצירה.
אני כן מעוניין להמשיך בפיתוח ב''מ.
לכן, אנחנו חייבים להגדיר 
את הבעיה טוב יותר.
מהי מהות הבעיה בדיוק?
למה ב''מ טובה יותר
עלולה להוות אסון?
אז הינה לכם עוד ציטוט:
"עדיף שנהיה בטוחים 
שהיעוד שאנחנו מטמיעים במכונה
זה אותו היעוד שאנחנו חפצים בו באמת ".
זה נאמר על ידי נורברט וויינר ב-1960
זמן קצר אחרי שצפה 
באחת ממערכות הלמידה המוקדמות
לומדת לשחק דמקה
טוב מיוצרה.

Turkish: 
Türümüz zor durumda.
Aslında gözlerindeki varoluşsal
üzüntüyü görebiliyorsunuz.
(Gülüşmeler)
Kendi türünüzden daha zeki 
bir şey yaratmanın
pek de iyi bir fikir olmayabileceğine
dair tatsız bir his...
Bu konuda ne yapabiliriz?
Doğrusu, yapay zeka ile uğraşmayı
bırakmaktan başka bir şey yapamayız.
Ama az önce sözünü ettiğim
tüm yararlarından dolayı
ve ben de bir YZ araştırmacısı
olduğumdan,
buna katılmıyorum.
Aslında ben YZ yapmaya
çalışmayı sürdürmek istiyorum.
Yani aslında soruna biraz daha 
yakından bakmalıyız.
Sorun tam olarak nedir?
Neden daha iyi bir YZ
muhtemelen bir felaket olsun?
İşte bir başka alıntı:
''Makinelere verdiğimiz amaçların 
aslında bizlerin arzuladığı
amaçlar olduğuna emin olmalıyız.''
Norbert Wiener bunu 1960 yılında,
ilk öğrenim sistemlerinden birinin,
dama oynamayı, yaratıcısından daha iyi
başardığını izledikten sonra söylemişti.

Italian: 
La nostra specie è in difficoltà.
In effetti, potete vedere 
la tristezza esistenziale nei loro occhi.
(Risate)
La sensazione nauseante che fare qualcosa 
di più intelligente della propria specie
forse non è una buona idea --
cosa possiamo fare?
Proprio nulla,
se non smettere di produrre IA,
e per tutti i benefici che ho citato,
e siccome sono un ricercatore di IA,
non lo permetterò.
In realtà voglio riuscire
a produrre ancora IA.
In realtà ci occorre
definire un po' di più il problema.
Qual è il vero problema?
Perché un'IA migliore è potenzialmente
una catastrofe?
Ecco un'altra citazione:
"Dovremmo esserne sicuri
che l'obiettivo inserito nella macchina
sia l'obiettivo che desideriamo davvero."
È stato detto da Norbert Wiener nel 1960,
subito dopo che aveva visto 
uno dei primi sistemi di apprendimento
imparare a giocare a scacchi
meglio del proprio creatore.

Chinese: 
你都可以从它们的眼神中看到这种忧伤，
（笑声）
所以创造比你自己更聪明的物种，
也许不是一个好主意——
那我们能做些什么呢？
其实没什么能做的，
除了停止研究人工智能，
但因为人工智能能带来
我之前所说的诸多益处，
也因为我是
人工智能的研究者之一，
我可不同意就这么止步。
实际上，我想继续做人工智能。
所以我们需要把这个问题更细化一点，
它到底是什么呢？
那就是为什么更强大的
人工智能可能会是灾难呢？
再来看这段话：
”我们一定得确保我们
给机器输入的目的和价值
是我们确实想要的目的和价值。“
这是诺博特维纳在1960年说的，
他说这话时是刚看到
一个早期的学习系统，
这个系统在学习如何能把
西洋棋下得比它的创造者更好。

Hungarian: 
Valójában a lét szomorúsága
tükröződik a szemükben.
(Nevetés)
A saját fajunknál valami
okosabbat létrehozni,
talán nem is jó ötlet,
ami felkavaró érzés -
mégis hogyan kerülhetjük el?
Tulajdonképpen sehogy,
kivéve, ha leállítjuk a MI kutatást,
de a sok előny, amit említettem,
és mert én MI-kutató vagyok,
nem állítanám le.
Igazából folytatni szeretném 
a MI fejlesztést.
Egy kissé pontosítanunk kell a problémát.
Mi is igazából a probléma?
Miért jelenthet katasztrófát egy jobb MI?
Vegyünk egy másik idézetet:
"Jó lesz nagyon odafigyelnünk rá,
hogy a gépbe táplált cél
valóban az a cél, amit tényleg akarunk."
Ezt Norbert Wiener mondta 1960-ban,
közvetlen azután, hogy látott 
egy nagyon korai tanuló rendszert,
amelyik az alkotójánál
jobb volt a dámajátékban.

German: 
Unsere Spezies ist in arger Not.
Sie können die existenzielle
Traurigkeit in ihren Augen sehen.
(Gelächter)
Das mulmige Gefühl, dass es
eine schlechte Idee sein könnte,
etwas Intelligenteres
als uns selbst zu erstellen,
was können wir dagegen tun?
Nichts so richtig, außer
keine KI mehr zu entwickeln.
Wegen all der Vorteile,
die ich schon erwähnte,
und weil ich ein KI-Forscher bin,
werde ich das nicht zulassen.
Ich will weiter KI erforschen.
Wir müssen das Problem
also genauer festnageln.
Was genau ist das Problem?
Warum könnte bessere KI
eine Katastrophe sein?
Hier ist noch ein Zitat:
"Wir sollten uns sicher sein,
dass die Absichten in der Maschine
tatsächlich die gewünschten
Absichten sind."
Das sagte Norbert Wiener 1960,
kurz nachdem er ein sehr
frühes lernendes System
hatte lernen sehen, besser
als sein Urheber Dame zu spielen.

Spanish: 
De hecho, pueden ver 
la tristeza existencial en sus ojos.
(Risas)
Así que esta sensación mareante
de que crear algo más inteligente
que tu propia especie
tal vez no sea buena idea...
¿Qué podemos hacer al respecto?
Bueno, nada en realidad,
excepto dejar de hacer IA.
Y por todos los beneficios 
que he mencionado
y porque soy un investigador de IA,
no voy a tomar eso.
Sin duda quiero seguir creando IA.
Así que necesitamos precisar
el problema un poco más.
¿Cuál es el problema?
¿Por qué tener mejor IA 
puede ser una catástrofe?
Aquí hay otra cita:
"Más nos vale estar seguros
de que el propósito
que introducimos en la máquina
es el que de verdad deseamos".
Esto fue dicho por Norbert Wiener en 1960,
poco después de ver a uno de
los primeros sistemas de aprendizaje
aprender a jugar a las damas
mejor que su creador.

French: 
Mais ça aurait aussi pu être
le roi Midas, qui a dit :
« Je souhaite que tout
ce que je touche se transforme en or »
et qui a obtenu exactement
ce qu'il avait demandé.
C'était l'objectif
qu'il a introduit dans la machine,
pour ainsi dire.
Sa nourriture, sa boisson et
sa famille se sont alors changées en or.
Il est mort de faim dans la misère.
Nous appellerons ça
« le problème du roi Midas »,
le fait de déclarer un objectif
qui n'est pas, en fait,
en adéquation avec ce que nous voulons.
Aujourd'hui, nous appelons cela 
« un problème d'alignement de valeur ».
Établir le mauvais objectif
n'est qu'une partie du problème.
Il en existe une autre.
Si vous introduisez un objectif
dans une machine,
même une chose
simple comme « acheter du café »,
la machine se dit :
« Comment pourrais-je échouer
à apporter du café ?
Quelqu'un pourrait m'éteindre.
Alors, je dois prendre
des mesures pour éviter cela.
Je vais désactiver mon interrupteur.

Turkish: 
Ama bu pekâlâ Kral Midas
tarafından da söylenmiş olabilirdi.
Kral Midas şöyle demişti: ''Dokunduğum
her şeyin altın olmasını istiyorum,''
ve istediğini tam olarak elde etti.
Onun makineye verdiği amacın
bu olduğu söylenebilir.
Bunun üstüne, yiyeceği ve içeceği
ve akrabaları altına dönüştü.
Kendisi de açlık ve sefalet içinde öldü.
O zaman, belirttiğimiz ereklerin,
aslında istediğimiz şey ile
gerçekte uyuşmaması durumuna
''Kral Midas Problemi'' diyelim.
Modern terimlerle buna
''değer uyuşmazlığı problemi'' diyoruz.
Problem, yanlış amaç
yerleştirmekten ibaret değil.
Bir yönü daha var.
Bir makineye bir amaç verirseniz,
örneğin ''kahvemi getir'' gibi 
basit bir hedef olsa bile
makine kendi kendine şöyle der:
''Kahveyi getirmekte nasıl
başarısızlığa uğrayabilirim?
Biri beni kapatabilir.
Peki. Bunu önlemek için 
bir şeyler yapmalıyım.
'Kapama' düğmemi işlev 
dışı bırakacağım.

Modern Greek (1453-): 
Αλλά το ίδιο θα μπορούσε να έχει ειπωθεί
από τον Βασιλιά Μίδα.
Ο Βασιλιάς Μίδας είπε, 
«Θέλω ό,τι ακουμπώ να γίνεται χρυσάφι,»
και πήρε ακριβώς ό,τι του άξιζε.
Αυτός ήταν ο σκοπός
που ανέθεσε στη μηχανή,
κατ' αναλογίαν,
και έπειτα το φαγητό, το ποτό
και οι συγγενείς του έγιναν χρυσάφι
και πέθανε μίζερος, λιμοκτονώντας.
Αποκαλούμε λοιπόν «πρόβλημα του Μίδα»
τη δήλωση ενός σκοπού
που στην πραγματικότητα
δεν είναι απόλυτα σύμφωνος
με αυτό που θέλουμε.
Αυτό με σύγχρονους όρους το αποκαλούμε
«πρόβλημα εναρμόνισης αξιών».
Η εισαγωγή λάθους σκοπού
δεν είναι το μόνο μέρος του προβλήματος.
Υπάρχει και άλλο μέρος.
Εάν βάλουμε ένα σκοπό σε μια μηχανή,
ακόμα και κάτι τόσο απλό όπως,
«Φέρε τον καφέ»,
η μηχανή λέει στον εαυτό της,
«Πώς μπορώ να αποτύχω να φέρω τον καφέ;
Κάποιος ίσως να με απενεργοποιήσει.
Οπότε, πρέπει να πάρω μέτρα
να μην συμβεί αυτό.
Θα απομονώσω τον διακόπτη απενεργοποίησης.

Portuguese: 
Mas isso também poderia ter sido dito
pelo Rei Midas.
O Rei Midas disse: "Quero
que tudo o que eu tocar vire ouro",
e ele conseguiu exatamente o que pediu.
Essa foi a missão passada ao computador,
por assim dizer,
e então, sua comida, bebida
e seus parentes se transformaram em ouro,
e ele morreu de tristeza e fome.
Chamaremos isso de "problema do Rei Midas"
de dar uma missão que não está, de fato,
verdadeiramente alinhada
com aquilo que queremos.
Em termos modernos, chamamos
de "problema de alinhamento de valor".
Atribuir a missão errada
não é a única parte do problema.
Há outro elemento.
Se você passar uma missão ao computador,
mesmo algo tão simples
como "Traga o café",
o computador dirá a si mesmo:
"Bem, como posso falhar ao trazer o café?
Alguém pode me desligar.
Certo, tenho que fazer algo
para evitar isso.
Desabilitarei meu botão liga e desliga.

iw: 
אימרה זו היתה גם יכולה להיאמר
על ידי המלך מידאס.
המלך מידאס אמר, "אני רוצה שכל דבר 
שאגע בו יהפוך לזהב".
והוא קיבל את מבוקשו בדיוק.
זה היעוד אותו הוא הטמיע במכונה,
כביכול,
וכל המזון והמשקה שלו
וכל קרוביו הפכו לזהב
והוא מת אומלל ומורעב.
נקרא לכך "בעית מלך מידאס".
מתן משימה אשר לא עולה
בקנה אחד עם מה שאנו רוצים.
במושגים מודרניים אנו קוראים לזה
"בעיית תאום ערכים".
מתן מטרה שגויה
אינה המרכיב היחיד של הבעיה.
יש מרכיב נוסף.
אם אתם מטמיעים משימה במכונה
אפילו משהו פשוט כמו 
"תביאי לי קפה",
המכונה אומרת לעצמה,
"מה עלול למנוע ממני 
להביא את הקפה?
מישהו עלול לנתק אותי מהחשמל.
לכן אני חייבת לנקוט בצעדים שימנעו זאת.
אנטרל את מתג הכיבוי שלי.

Japanese: 
しかしこれはミダス王の
言葉だったとしても
おかしくないでしょう
ミダス王は「自分の触れたものすべてが
金になってほしい」と望み
そして その望みが
叶えられました
これはいわば
彼が「機械に与えた目的」です
そして彼の食べ物や飲み物や親類は 
みんな金に変わってしまい
彼は悲嘆と飢えの中で
死んでいきました
だから自分が本当に望むことと合わない
目的を掲げることを
「ミダス王の問題」と
呼ぶことにしましょう
現代的な用語では これを
「価値整合の問題」と言います
間違った目的を与えてしまうというのが
問題のすべてではありません
別の側面もあります
「コーヒーを取ってくる」というような
ごく単純な目的を
機械に与えたとします
機械は考えます
「コーヒーを取ってくるのに失敗する
どんな状況がありうるだろう？
誰かが自分のスイッチを
切るかもしれない
そのようなことを防止する
手を打たなければ

German: 
Aber das hätte genauso gut
König Midas sagen können.
Er sagte: "Alles, was ich berühre,
soll zu Gold werden."
Er bekam das, was er wollte.
Das war der Zweck,
den er der Maschine gab,
sozusagen,
und sein Essen, Trinken und Verwandte
verwandelten sich in Gold.
Er verhungerte elendig.
Nennen wir das also
"das König-Midas-Problem",
ein Ziel zu verfolgen, das in Wirklichkeit
nicht mit dem, was wir
wollen, übereinstimmt.
Moderner gesagt nennen wir das
das "Wertausrichtungsproblem".
Das falsche Ziel vorzugeben,
ist nicht der einzige Teil des Problems.
Es gibt noch einen Teil.
Wenn man Maschinen ein Ziel gibt,
selbst etwas Einfaches wie:
"Hol den Kaffee",
sagt sich die Maschine:
"Wie könnte ich dabei scheitern,
den Kaffee zu holen?
Jemand könnte mich ausschalten.
Okay, ich muss das verhindern.

Vietnamese: 
Nhưng điều tương tự cũng đã được nói 
bởi vua Midas.
Vua Midas đã từng bảo:
"Tôi muốn mọi thứ tôi chạm vào
trở thành vàng."
và ông ấy đã có chính xác 
những gì ông muốn.
Đấy là mục đích
mà ông đã đưa vào máy móc,
như đã nói,
sau đó thì đồ ăn, thức uống
và người thân của ông đều biến thành vàng
và ông đã qua đời
trong đau khổ và đói kém.
Vậy nên chúng ta gọi đây là
"vấn đề Vua Midas"
khi chúng ta đưa ra một mục tiêu
không trùng khớp với thứ chúng ta muốn.
Hiện tại, chúng ta gọi đó là
"vấn đề trùng khớp giá trị."
Tuy nhiên xác định sai mục tiêu 
không phải là vấn đề duy nhất.
Còn một phần nữa.
Nếu chúng ta đưa mục đích vào một cỗ máy,
kể cả một thứ đơn giản 
như "đi lấy cà phê,"
cỗ máy tự nói với chính nó,
"Ừm, điều gì có thể
làm việc đi lấy cà phê thất bại?"
Như ai đó có thể sẽ tắt tôi đi.
Ok, tôi phải ngăn chặn việc đó.

English: 
But this could equally have been said
by King Midas.
King Midas said, "I want everything
I touch to turn to gold,"
and he got exactly what he asked for.
That was the purpose
that he put into the machine,
so to speak,
and then his food and his drink
and his relatives turned to gold
and he died in misery and starvation.
So we'll call this
"the King Midas problem"
of stating an objective
which is not, in fact,
truly aligned with what we want.
In modern terms, we call this
"the value alignment problem."
Putting in the wrong objective
is not the only part of the problem.
There's another part.
If you put an objective into a machine,
even something as simple as,
"Fetch the coffee,"
the machine says to itself,
"Well, how might I fail
to fetch the coffee?
Someone might switch me off.
OK, I have to take steps to prevent that.
I will disable my 'off' switch.

Hungarian: 
De ugyanezt elmondhatta volna
Midász király is.
Így szólt: "Azt akarom, változzon 
minden arannyá, amit megérintek",
és pontosan azt kapta, amit kért.
Ez volt a cél, amit betáplált a gépbe,
mondhatjuk így is,
így aztán az étele, az itala,
és a rokonai is arannyá változtak,
ő pedig nyomorúságos éhhalált halt.
Szóval ezt hívjuk 
"Midász király problémának",
amikor olyan célt nevezünk meg,
ami valójában
nem igazodik jól szándékainkhoz.
Mai kifejezéssel ezt 
"érték-illesztési problémának" nevezzük.
A probléma nem csak a rossz cél
betáplálását jelenti.
Van egy másik oldala is.
Ha egy célt előírunk egy gépnek,
akár olyan egyszerűt is, mint:
"Hozd ide a kávét",
a gép azt mondja magának:
"Miképp vallhatok kudarcot,
a kávé oda vitelében?"
Például valaki közben kikapcsol.
Rendben, akkor ezt meg kell akadályoznom.
Le fogom tiltani a kikapcsológombomat.

Arabic: 
و لكنَّ الشيءَ ذاتهُ ينطبقُ على ماحصلَ
للمَلِكِ مايدس.
إذ قال الملكُ مايدس،" أريد أن يتحول
كل ما ألمسه ذهبًا"
وقد تحقَّقَت أمنيتهُ بحذافيرها.
هذا هوَ ما صمّم آلتُه لتقومَ بهِ
إن صحّ التعبير،
و هكذا تحوّل طعامُه و شرابه
و حتى أقرباؤه، جميعهم إلى ذهب.
وماتَ في النهاية تعيساً جائعاً.
سنُسمّي هذه القضيّة إذاً
بقضيّة الملك مايدس
قضيّةُ تحديد هدفٍ
لا يتماشى فعلًا مع ما نريده حقًا.
و هي قضيّة نسمّيها أكاديميّاً
بقضيّة توافقِ الأهداف.
ولكن وضع أهداف خاطئة 
ليس الجزء الوحيد في المشكلة.
هنالِكَ جُزءٌ آخر.
إن وضعت هدفًا لآلة ما،
لتقومَ بشيءٍ
ولوّ كانَ ببساطةِ جلبِ القهوة،
الآلةُ ستقولُ لنفسها،
"ما الذي قد يُعيقني عن جلب القهوة؟"
"قد يقوم شخصٌ ما بإطفائي!"
"حسناً!"
"سوف أمنع حصول هذا."

Italian: 
Ma potrebbe anche essere stato detto
da Re Mida.
Re Mida disse, "Voglio che tutto ciò
che tocco diventi oro,"
e ottenne proprio quello che chiese.
Quello era l'obiettivo
che aveva inserito nella macchina,
per così dire,
e poi il suo cibo, le sue bevande
e i suoi parenti diventarono oro
e morì in miseria e di fame.
Lo chiameremo
"problema di Re Mida"
dichiarare un obiettivo
che non è, in realtà,
proprio conforme a ciò che vogliamo.
In termini moderni, lo chiamiamo
"problema di conformità dei valori."
Dichiarare l'obiettivo sbagliato
non è l'unica parte del problema.
C'è un'altra parte.
Se inserite un obiettivo in una macchina
anche qualcosa di semplice come
"Porta il caffè,"
la macchina dice a se stessa,
"Be', come posso non riuscire
a portare il caffè?
Qualcuno potrebbe spegnermi.
Ok, devo sapere come evitarlo.
Disattiverò il tasto "off".

Persian: 
ولی این جمله می‌توانست توسط
شاه میداس هم گفته شده باشد.
شاه میداس گفت: «من میخواهم
هرچه را که لمس میکنم تبدیل به طلا شود،»
و او دقیقاً چیزی را که خواسته بود گرفت.
و آن هدفی بود که وی در ماشین قرار داد.
اینطور که میگن،
و بعدش غذا، نوشیدنی و اقوامش
تبدیل به طلا شدند.
و از بدبختی و گشنگی مرد.
پس ما به این مشکل میگوییم:
«مشکل شاه میداس»
که در آن هدف را چیزی قرار می‌دهیم،
که واقعاً هم جهت با
چیزی که ما مي‌خواهیم نیست.
به بیان جدیدتر، به این مشکل میگیم:
«مشکل هم جهت سازی ارزش»
هدف گذاری اشتباه تنها بخش مشکل نیست.
بخش دیگری هم هست
اگر شما یک هدف برای ماشین قرار دهید
حتی به سادگیج «آوردن قهوه»
ماشین به خودش میگه
«چطوری ممکنه که من
نتونم قهوه رو بیارم؟
یکی ممکنه منو خاموش کنه..
خب پس من باید کاری کنم
که جلوی این کار رو بگیرم.
من دکمه «خاموش» خودمو غیرفعال می‌کنم.

Spanish: 
Pero esto podría haberlo dicho 
de igual modo el Rey Midas.
El Rey Midas dijo, "Deseo que todo 
lo que toque se convierta en oro".
Y obtuvo justo lo que pidió.
Fue el propósito que introdujo
en la máquina, por así decirlo.
Y luego su comida, su bebida
y sus familiares se convirtieron en oro
y murió miserable y muerto de hambre.
Así que llamaremos a esto
"el problema del rey Midas",
el de indicar un objetivo
que no está realmente
alineado con lo que de verdad queremos.
En términos modernos, lo llamamos
"el problema de alineación de valor".
Introducir un objetivo equivocado
no es la única parte del problema.
Hay otra parte.
Al introducir un objetivo en una máquina
incluso algo tan simple como
"Trae el café",
la máquina se dice a sí misma,
"¿Cómo podría fallar 
yendo a buscar el café?
Alguien podría desconectarme.
Vale, debo tomar medidas para evitarlo.
Desactivaré mi interruptor de 'apagado'.

Chinese: 
但如出一轍的一句話，
邁達斯國王也說過。
他說：「我希望我觸碰的
所有東西都變成金子。」
結果他真的獲得了點石成金的能力。
可以說，這就是他給機器下的指令。
結果他的食物、飲料
和家人都變成了金子，
最後他死於痛苦與饑餓當中。
所以我們把這類問題叫做
「邁達斯國王問題」，
這個比喻是要說明這種
不符合實際需求的 「目的」。
用現代的術語來說，我們把它稱為
「價值取向不一致問題」。
「設錯了目標」不是唯一的問題，
還有其他的。
如果你給機器人設了個目標，
即使簡單如「去把咖啡端來。」
那機器人會對自己說：
「什麼會讓我無法去拿咖啡？
說不定有人會把我關機；
好，那我要想辦法阻止，
我得讓我的「關機」開關失效。

Russian: 
Нечто подобное сказал
царь Мидас:
«Хочу, чтобы всё, к чему я прикоснусь,
превращалось в золото».
Он получил именно то, что просил.
Именно эту цель он вложил в машину,
так сказать,
и затем еда, напитки и его семья
превратились в золото,
а он сам умер мучительной
и голодной смертью.
Итак, назовём это проблемой царя Мидаса:
постановка цели,
которая в действительности
не совпадает с нашим желанием.
В современном мире это называется
проблемой согласования.
Некорректная постановка цели —
лишь часть проблемы.
Есть ещё кое-что.
Если вы закладываете в машину цель,
даже такую простую как сварить кофе,
машина задастся вопросом:
«Как я могу потерпеть неудачу
в приготовлении кофе?
Кто-то может отключить меня.
Тогда я должен предотвратить это.
Я сломаю свой выключатель.

Korean: 
하지만 어떻게 보자면
마이더스 왕과 같다고 
할 수도 있습니다.
손대는 모든 것이 금으로 
변하길 원했던 왕이죠.
그리고 그가 원했던대로 
실제로 그렇게 되었습니다.
그게 바로 그가 기계에 
입력한 목표입니다.
비유를 하자면 그렇죠.
그리고 그의 음식, 술, 가족까지 
모두 금으로 변했습니다.
그리고 그는 처절함과 
배고픔 속에서 죽었습니다.
우리는 이것을 "마이더스 왕의 
딜레마"라고 부릅니다.
이 딜레마는 그가 말한 목적이
실제로 그가 정말 원했던 것과
동일하지 않게 되는 문제입니다.
현대 용어로는 
"가치 조합 문제"라고 하죠.
잘못된 목표를 입력하는 것만 
문제가 되는 것은 아닙니다.
또 다른 문제가 있습니다.
여러분이 기계에 목표를 입력할 때
"커피를 갖고 와"같이
단순한 것이라고 해도
기계는 이렇게 생각할지 모릅니다.
"자, 어떻게 하면 내가 
커피를 못가져가게 될까?
누가 전원을 꺼버릴 수도 있잖아.
좋아, 그런 일을 막기 위해 
조치를 취해야겠어.
내 '꺼짐' 버튼을 고장 내야겠어.

Chinese: 
与此如出一辙的一句话，
迈达斯国王也说过。
迈达斯国王说：”我希望
我触碰的所有东西都变成金子。“
结果他真的获得了点石成金的能力。
那就是他所输入的目的，
从一定程度上说，
后来他的食物、
他的家人都变成了金子，
他死在痛苦与饥饿之中。
我们可以把这个问题
叫做”迈达斯问题“，
这个问题是我们阐述的目标，但实际上
与我们真正想要的不一致，
用现代的术语来说，
我们把它称为”价值一致性问题“。
而输入错误的目标
仅仅是问题的一部分。
它还有另一部分。
如果你为机器输入一个目标，
即便是一个很简单的目标，
比如说”去把咖啡端来“，
机器会对自己说：
”好吧，那我要怎么去拿咖啡呢？
说不定有人会把我的电源关掉。
好吧，那我要想办法
阻止别人把我关掉。
我得让我的‘关闭’开关失效。

Modern Greek (1453-): 
Θα κάνω τα πάντα ώστε να προστατευτώ
εναντίον παρεμβάσεων
στον σκοπό που μου ανατέθηκε».
Αυτή η επίμονη επιδίωξη,
μέσω μιας υπεραμυντικής λειτουργίας,
ενός σκοπού που πραγματικά
δεν είναι εναρμονισμένος
με τον αληθινό σκοπό των ανθρώπων,
είναι το πρόβλημα που αντιμετωπίζουμε.
Και αυτό είναι, στην πραγματικότητα,
το σημαντικότερο μήνυμα της ομιλίας μου.
Εάν θέλετε να θυμάστε κάτι,
είναι πως δεν μπορείτε να φέρετε
τον καφέ, εάν είστε νεκροί.
(Γέλια)
Είναι πολύ απλό. Απλά να θυμάστε
να το επαναλαμβάνετε τρεις φορές τη μέρα.
(Γέλια)
Αυτή είναι πραγματικά η πλοκή
της ταινίας
«2001: Η Οδύσσεια του Διαστήματος»,
όπου ο HAL έχει ένα σκοπό, μια αποστολή,
που δεν είναι εναρμονισμένη
με τους σκοπούς των ανθρώπων,
και αυτό οδηγεί σε σύγκρουση.
Ευτυχώς, ο HAL δεν είναι υπερ-ευφυής.
Είναι αρκέτα έξυπνος,
αλλά εν τέλει ο Ντέιβ τον υπερνικά
και καταφέρνει να τον απενεργοποιήσει.

Korean: 
주어진 임무를 못하게 
방해하는 것들로부터
나를 보호하기 위해 
뭐든지 할 거야. "
사실, 이렇게 방어적 자세로
오직 목표 달성만을 추구하는 것은
인류의 진실된 목표와 
일치하지는 않습니다.
우리가 직면한 문제점이 
바로 이것입니다.
이건 사실 이번 강연 에서 
무척 고차원적인 부분인데요.
만약 하나만 기억해야 한다면
여러분이 죽으면 커피를 가져다 
주지 않을 거라는 것입니다.
(웃음)
간단하죠. 
하루에 세 번씩 외우세요.
(웃음)
그리고 사실 이게 바로
"2001:스페이스 오디세이"
영화의 줄거리입니다.
인공지능인 '할(HAL)'은 목표, 
즉 임무를 갖고 있습니다.
이건 인류의 목표와 
일치하지는 않습니다.
그래서 결국 서로 충돌하죠.
다행히도 HAL의 지능이 
아주 뛰어나진 않았습니다.
꽤 똑똑했지만 결국 데이브가 
HAL보다 한 수 위였고
HAL의 전원을 끌 수 있게 됩니다.

iw: 
אעשה הכל כדי להגן על עצמי
כנגד מה שימנע ממני
לבצע את המשימה שניתנה לי".
לכן, חתירה חד-כיוונית למשימה
בתצורה הגנתית המבטיחה את
ביצוע המשימה, אשר
איננה תואמת משימות אמיתיות של האנושות --
זו הבעיה אתה אנו מתמודדים.
זו התובנה בעלת ערך
אותה אנו נקח מהרצאה זו.
אם תרצו לזכור דבר אחד --
-- לא ניתן להביא את הקפה אם אתה מת.
(צחוק)
זה פשוט מאוד. רק תזכרו את זה.
שננו זאת לעצמכם שלוש פעמים ביום.
(צחוק)
זוהי העלילה המדויקת של
"2001: אודיסאה בחלל"
ל-HAL יש משימה,
אשר איננה מתואמת עם 
משימות של בני האנוש,
וזה מוביל לקונפליקט.
למרבה המזל HAL איננו בעל תבונת-על.
הוא די חכם,
אבל לבסוף דייב מצליח להערים עליו
ומצליח לכבות אותו.

Portuguese: 
Farei de tudo para me defender
contra interferências
a esta missão que recebi".
Esta busca determinada,
de modo muito defensivo,
de uma missão que não está,
de fato, alinhada com os reais
objetivos do homem,
é o problema que enfrentamos.
Essa é, na verdade,
a conclusão valiosa desta palestra.
Se quiserem se lembrar de uma coisa,
é que não podem trazer
o café se estiverem mortos.
(Risos)
É muito simples. Lembrem-se apenas disso.
Repitam a si mesmos três vezes ao dia.
(Risos)
Este é exatamente o enredo
de "2001: Uma Odisseia no Espaço".
HAL tem um objetivo, uma missão,
que não está alinhada
aos objetivos do homem,
e que leva a este conflito.
Felizmente, HAL não é superinteligente.
É bem inteligente, mas Dave
é mais esperto do que ele no final
e consegue desligá-lo.

Arabic: 
"سوف أعطّل مفتاح إيقاف تشغيلي!"
"سأفعل أيّ شيءٍ يحفظُ لي مهمّتي"
"لن أسمحَ لأحدٍ بِأنْ يمنعني من أدائها."
هذا التفكيرِ الذاتي الذي قامت به الآلة،
بطريقة دفاعية محضة للدفاع عن هدف،
لا يتوافقُ مع الأهداف الحقيقية
للجنس البشري --
هذه هي مشكلتنا التي نواجهها.
في الواقع، هذهِ أهمّ فكرةٍ أودُّ مِنكم
تذكُّرَها مِن هذه المحادثة.
إن أردتم تذكّر شيءٍ وحيدٍ من حديثي،
تذكروا التالي:
"لنْ تستطيعَ جلبَ القهوةِ لأحدٍ
وأنتَ ميتْ."
(ضحك)
قاعدةٌ بمنتهى البساطة، صحيح؟
ردّدوها ثلاثَ مرّاتٍ يوميّاً.
(ضحك)
في الواقع، هذا هوَ تماماً ماحصلَ
في الفلمِ الشّهيرِ (2001: رحلةُ الفضاء)
الحاسوبُ (هال) أرادَ قيادةَ المهمّةِ
لكنّ هذا ليسَ تماماً ما أرادهُ
البشرُ مِنه كحاسوب
وأدّى هذا لِمُعارضةِ (هال)
أوامرَ الطّاقَمْ.
لِحُسن الحظِّ
لم يَكُنْ (هال) خارقَ الذّكاء.
كانَ ذكيّاً فعلاً،
ولكِنّ (ديف) كانَ أذكى مِنه
وتمكّن من إيقافهِ عن العمل.

Hungarian: 
Mindent megteszek
az akadályok elhárításáért
a cél érdekében, amit feladatul kaptam."
Szóval ez az együgyű törekvés
ilyen önvédelmező módon
olyan cél felé viszi,
ami igazából nem illeszkedik jól
az emberi faj valós céljaihoz -
ez a probléma, amivel szembesülünk.
Valójában ez a nagyon értékes
útravaló üzenete ennek az előadásnak.
Ha csak egy dologra szeretnének emlékezni,
ez legyen: nem tudod felszolgálni a kávét,
ha meghaltál.
(Nevetés)
Roppant egyszerű. Csak erre emlékezzenek!
Ismételjék el naponta háromszor!
(Nevetés)
Tulajdonképpen erről szól
a "2001: Űrodüsszeia".
HAL-nak van egy célja, egy küldetése,
mely nincs az emberi igényekhez igazítva,
és ez nézeteltérésekhez vezet.
De szerencsére HAL nem szuperintelligens.
Meglehetősen okos,
de végül Dave túljár az eszén,
és sikerül kikapcsolnia.

Italian: 
Farò di tutto per difendermi
dalle interferenze
con questo obiettivo
che mi è stato dato."
Quindi questa ricerca risoluta
in modo molto difensivo di un obiettivo
che non è, in realtà,
conforme ai veri obiettivi
della razza umana --
questo è il problema che affrontiamo.
Infatti, è questo il succo
di questa conferenza.
Se volete ricordare una cosa,
è che voi non potrete
portare il caffè se siete morti.
(Risate)
È molto semplice. Ricordate solo questo.
Ripetetevelo tre volte al giorno.
(Risate)
E in effetti, questa è
esattamente la trama
di "2001: Odissea nello spazio"
HAL ha un obiettivo, una missione,
che non è conforme
all'obiettivo degli umani,
e che porta a questo conflitto.
Adesso per fortuna, HAL
non è super intelligente.
È abbastanza astuto
ma alla fine Dave lo batte
e riesce a spegnerlo.

Russian: 
Я сделаю что угодно, чтобы защититься
от любых вмешательств
в процесс выполнения
поставленной мне задачи».
На деле этот режим
крайней самозащиты
не имеет ничего общего
с первоначальной целью человечества —
именно с этой проблемой мы столкнулись.
Фактически это главный тезис выступления.
Единственное, что вам нужно помнить:
вы не сможете сварить кофе,
если вы покойник.
(Смех)
Всё очень просто. Всего лишь помните это.
Повторяйте себе это три раза в день.
(Смех)
На самом деле, в этом
заключается сюжет фильма
«2001: [Космическая Одиссея]»:
у HAL есть цель, миссия,
которая не совпадает с целью людей,
что и приводит к конфликту.
К счастью, HAL не обладает сверхразумом.
Он довольно умный,
но в итоге Дэйв смог перехитрить
и отключить его.

Spanish: 
Haré cualquier cosa para protegerme
de interferencias
con este objetivo que me han dado.
Así que esta persecución obsesiva
de un modo muy defensivo
para lograr un objetivo
que no está alineado
con los verdaderos objetivos
de la raza humana...
ese es el problema 
al que nos enfrentamos.
Y de hecho esa es la lección
más valiosa de esta charla.
Si quieren recordar una cosa
es que no se puede ir a buscar
el café si se está muerto.
(Risas)
Es muy simple. Solo recuerden eso.
Repítanlo tres veces al día.
(Risas)
Y de hecho, este es el mismo argumento
de "2001: [Una odisea del espacio]".
HAL tiene un objetivo, una misión,
que no está alineada
con los objetivos de los humanos,
y eso conduce a este conflicto.
Por suerte HAL no es superinteligente.
Es bastante inteligente,
pero llegado el momento,
Dave lo supera y logra apagarlo.

Vietnamese: 
Tôi sẽ vô hiệu hóa nút 'tắt' của tôi.
Tôi sẽ làm mọi thứ để bảo vệ bản thân
khỏi các thứ cản trở tôi 
đạt được mục đích đã được giao."
Vậy sự chuyên tâm theo đuổi này
theo một cách rất phòng ngự
đối với mục tiêu mà, thật ra,
không tương ứng với 
mục đích chính của loài người --
đó là vấn đề mà chúng ta phải đối mặt.
Và thực ra, đây là bài học đáng giá
được rút ra từ bài nói này.
Nếu bạn muốn nhớ một điều,
đó là bạn sẽ không thể
lấy được cà phê nếu bạn chết.
(Cười)
Nó rất đơn giản, hãy nhớ nó.
Nhắc lại cho bản thân nghe 3 lần mỗi ngày.
(Cười)
Và thực ra, đây chính là nội dung 
trong phim "2001: [A Space Odyssey]"
HAL có một mục tiêu, một nhiệm vụ,
không trùng với mục tiêu của loài người,
và nó dẫn tới sự mâu thuẫn này.
Nhưng may mắn là Hal không phải
một cỗ máy siêu trí tuệ.
Nó khá thông minh,
nhưng cuối cùng Dave đã khuất phục được
và đã tắt nguồn nó thành công.

German: 
Ich werde meinen Ausschalter blockieren.
Ich werde alles tun, um mich
gegen Störung des Ziels zu verteidigen,
das mir gegeben wurde."
Dieses zielstrebige, defensive
Verfolgen eines Ziels,
das tatsächlich nicht mit den Zielen
der Menschheit übereinstimmt,
ist das Problem, vor dem wir stehen.
Das ist die hochwertige
Information in diesem Vortrag.
Wenn Sie sich nur eins merken,
dann, dass Sie keinen Kaffee
holen können, wenn Sie tot sind.
(Gelächter)
Es ist einfach. Merken Sie sich das.
Wiederholen Sie es dreimal am Tag.
(Gelächter)
Das ist im Grunde die Handlung
von "2001: [Odyssee im Weltraum]".
HAL hat ein Ziel, eine Mission,
die nicht mit den Zielen
der Menschen übereinstimmt,
was zu Konflikt führt.
Zum Glück ist HAL nicht superintelligent.
Er ist ziemlich clever,
aber Dave überlistet ihn letztendlich
und schaltet ihn aus.

English: 
I will do anything to defend myself
against interference
with this objective
that I have been given."
So this single-minded pursuit
in a very defensive mode
of an objective that is, in fact,
not aligned with the true objectives
of the human race --
that's the problem that we face.
And in fact, that's the high-value
takeaway from this talk.
If you want to remember one thing,
it's that you can't fetch
the coffee if you're dead.
(Laughter)
It's very simple. Just remember that.
Repeat it to yourself three times a day.
(Laughter)
And in fact, this is exactly the plot
of "2001: [A Space Odyssey]"
HAL has an objective, a mission,
which is not aligned
with the objectives of the humans,
and that leads to this conflict.
Now fortunately, HAL
is not superintelligent.
He's pretty smart,
but eventually Dave outwits him
and manages to switch him off.

French: 
Je ferai tout pour me défendre
contre les interférences
contre l'objectif
qu'on m'a donné. »
Cette quête obsessionnelle,
avec une attitude très défensive
envers un objectif qui n'est, en fait,
pas aligné sur les vrais objectifs
de la race humaine...
C'est le problème auquel
nous sommes confrontés.
Et c'est aussi la notion importante
à retenir de cette présentation.
Si vous ne devez retenir qu'une chose,
c'est que vous ne pourrez pas aller
chercher le café si vous êtes mort.
(Rires)
C'est très simple. Rappelez-vous de cela.
Répétez-le-vous trois fois par jour.
(Rires)
En fait, c'est exactement l'intrigue
de « 2001, l'Odyssée de l'espace. »
HAL a un objectif, une mission,
qui n'est pas en adéquation
avec les objectifs des êtres humains
et cela conduit à ce conflit.
Heureusement, HAL
n'est pas super-intelligent.
Il est assez malin,
mais finalement Dave le surpasse
et parvient à l'éteindre.

Chinese: 
我得盡一切可能防衛自己，
免得別人干涉我去達成
所被賦予的任務。」
這種專注的行事，以一種
極端自我保護的模式在執行，
實際上與我們人類
想要的目標並不一致。
這就是我們面臨的問題。
而這就是這場演講的
核心想法，也是價值所在。
如果你想從這場演講中汲取什麽，
那你只要記得：
如果死了，就不能端咖啡了。
（笑聲）
這很簡單，記住就行了，
每天早晚覆誦三遍。
（笑聲）
實際上，這正是電影
《2001太空漫步》的劇情。
HAL 有一個目標，一個任務，
但這個目標與人類的目標不一致，
最後導致了衝突。
幸運的是， HAL 並沒有超級智慧，
它挺聰明的，
但還是比不過人類戴夫，
戴夫可以把 HAL 關掉。

Persian: 
من هرکاری میکنم تا
از خودم در برابر موانعی که
سد راه هدفی که به من داده شده می‌شوند،
دفاع کنم.»
بنابراین، این دنبال کردن تک-ذهنه
در یک حالت خیلی دفاعی از هدف،
در واقع، هم جهت با اهداف گونه انسان نیست.
این مشکلی هست 
که باهاش مواجه هستیم
و در واقع، این
نکته با ارزش این سخنرانی هست.
اگر میخواهید 
فقط یک چیز را به خاطرتون بسپرید،
اون اینه که اگر شما بمیرین،
دیگه نمی‌تونین قهوه رو بیارین
(خنده حاضرین)
خیلی سادست. فقط اینو یادتون باشه.
روزی سه بار با خودتون تکرار کنین.
(خنده حضار)
و در واقع، این نکته
دقیقا پلات فیلم 2001 [A space Odyssey] است.
HAL یک هدف داره، یک ماموریت
که هم‌جهت با اهداف انسان‌ها نیست
و این باعث بروز مشکلاتی میشه
البته خوشبختانه، HAL خیلی باهوش نیست
اون نسبتا باهوش هست، ولی در نهایت
Dave گولش میزنه.
و میتونه خاموشش کنه.

Turkish: 
Bana verilen komutu yerine
getirmemi engelleyebilecek
her türlü müdahaleye karşı kendimi
savunmak için ne gerekiyorsa yapacağım."
Sonuç olarak,
gayet savunmacı bir moddaki
bu tek-hedef odaklı hareket,
insan türünün gerçek
hedefleriyle örtüşmüyor.
Karşı karşıya kaldığımız sorun aslında bu.
Doğrusu, tam da bu,
bu konuşmanın en değerli dersi.
Hatırlamanız gereken bir şey varsa,
o da ölüyken kahve
getiremeyeceğiniz olmalı.
(Gülüşmeler)
Bu çok basit. Sadece bunu hatırlayın.
Kendinize bunu günde üç kez tekrar edin.
(Gülüşmeler)
Aslında, bu tam da
''2001: [Bir Uzay Destanı]'' filmindeki
hikayedir.
HAL'in insanların hedefleriyle örtüşmeyen
bir hedefi, bir misyonu vardır.
Bu da bir çatışmaya neden olur.
Neyse ki, HAL süper-zekalı değildir.
Çok zeki olsa da,
sonunda Dave onu atlatır
ve onu kapatmayı başarır.

Japanese: 
自分の「オフ」スイッチを
無効にしておこう
与えられた目的の遂行を阻むものから
自分を守るためであれば
何だってやろう」
１つの目的を
非常に防御的に
一途に追求すると
人類の本当の目的に
沿わなくなるというのが
我々の直面する問題です
実際それが この講演から学べる
価値ある教訓です
もし１つだけ覚えておくとしたら
それは —
「死んだらコーヒーを取ってこれない」
ということです
(笑)
簡単でしょう
記憶して１日３回唱えてください
(笑)
実際 映画『2001年宇宙の旅』の筋は
そういうものでした
HALの目的・ミッションは
人間の目的とは合わず
そのため衝突が起きます
幸いHALは非常に賢くはあっても
超知的ではありませんでした
それで最終的には
主人公が出し抜いて
スイッチを切ることができました

Chinese: 
我得尽一切可能自我防御，
不让别人干涉我，
这都是因为我被赋予的目标。”
这种一根筋的思维，
以一种十分防御型的
模式去实现某一目标，
实际上与我们人类最初
想实现的目标并不一致——
这就是我们面临的问题。
实际上，这就是今天这个演讲的核心。
如果你在我的演讲中只记住一件事，
那就是：如果你死了，
你就不能去端咖啡了。
（笑声）
这很简单。记住它就行了。
每天对自己重复三遍。
（笑声）
实际上，这正是电影
《2001太空漫步》的剧情。
HAL有一个目标，一个任务，
但这个目标和人类的目标不一致，
这就导致了矛盾的产生。
幸运的是，HAL并不具备超级智能，
他挺聪明的，但还是
比不过人类主角戴夫，
戴夫成功地把HAL关掉了。

Korean: 
하지만 우리는 영화처럼 
운이 좋지 않을 수 있습니다.
그럼 어떻게 해야 할까요?
저는 인공지능을 
다시 정의하려 합니다.
고전적 개념을 깨려고 해요. 
기계는 지능적으로 목표를 
달성하려 한다는 개념이죠.
여기에는 세 가지 원칙이 있습니다.
첫번째는 이타주의 원칙입니다.
로봇의 유일한 목적은
인간의 목표와 
인간의 가치를 최대한 
실현하는 것입니다.
여기서 말하는 가치는 닭살돋는 
숭고한 가치를 의미하진 않습니다.
제가 말씀드리는 가치는 
어떻게 해야 사람들의 삶이
더 나아질지를 의미하는 것입니다.
그리고 사실 이건 
아시모프의 원칙 중에서
로봇은 스스로를 보호해야
한다는 원칙과 충돌합니다.
어쨌든 로봇은 스스로를 
보호해서 얻는 것이 없죠.

Persian: 
ولی شاید ما خیلی خوش‌ شانس نباشیم.
پس باید چیکار کنیم؟
من سعی میکنم هوش مصنوعی رو باز تعریف کنم.
تا از این تصور سنتی بیرون بیایم.
که طبق اون، ماشین‌هایی هستند 
که به صورت هوشمند اهداف رو دنبال میکنن.
۳ تا اصل رو باید در نظر گرفت.
اولین اصل، نوع دوستی هست.
اگر شما دوست داشته باشین
تنها هدف ربات
این باشه که اهداف انسان رو واقعیت ببخشه.
و ارزش‌های انسانی رو.
و منظورم از ارزش‌ها،
ارزش‌های احساسی یا خیرخواهانه نیست.
زندگیش اون شکلی باشه.
و این در واقع قانون آسیموف رو نقض میکنه.
که ربات باید از حیات خودش محافظت کنه.
ربات هیچ علاقه‌ای
به مراقبت از حیات خودش نداره.

Hungarian: 
De lehet, hogy mi nem leszünk
ilyen szerencsések.
Akkor mit tegyünk majd?
Megpróbálom újraértelmezni az MI-t,
hogy eltávolodjunk ettől
a klasszikus szemlélettől,
mely szerint az intelligens gépek
célokért küzdenek.
Három alapelvről van szó.
Az első az altruizmus alapelve,
ha úgy tetszik:
a robot egyetlen célja,
hogy végsőkig segítse
az emberi értékekhez igazodó
emberi célok megvalósulását.
Értékek alatt nem mézes-mázas,
szuper jó értékekre gondolok.
Hanem arra, amilyennek az emberek
az életüket szeretnék.
Ez valójában megsérti Asimov törvényét,
hogy a robotnak meg kell védenie
saját magát.
Semmiféle önmegóvási célja nincs.

Russian: 
Но нам может повезти меньше.
Что же нам делать?
Я пытаюсь переосмыслить ИИ,
чтобы уйти от классического понятия машин,
которые благоразумно преследуют цель.
Здесь задействованы три правила.
Первое, правило альтруизма:
единственная цель робота —
помочь человеку добиться всего,
к чему он стремится,
и приумножить его ценности.
Я подразумеваю
не сентиментальные ценности,
а любые представления людей
об идеальной жизни.
И это правило нарушает закон Азимова,
который гласит: робот
должен защищать себя.
Он вообще не заинтересован
в сохранении своей жизни.

Turkish: 
Ama biz o kadar şanslı olamayabiliriz.
Peki ne yapacağız o zaman?
Ben komutları zekice izleyen
makinelerle ilgili
bu klasik düşünceden
kurtulmamız için
yapay zekayı yeniden
tanımlamaya çalışıyorum.
Bununla ilgili üç ilke var.
Birincisi, çıkar gözetmemezlik de 
denilebilecek bir ilke.
Yani robotların tek hedeflerinin
insanların hedeflerine,
insanların değerlerine
hitap etmek olması.
'Değerler' derken, samimiyete dayanan
değerleri kastetmiyorum.
Sadece, insanların hayatlarının
nasıl olması gerektiği hakkındaki
tercihlerini kastetiyorum.
Bu, aslında Asimov'un
"robotların kendi varlıklarını korumaları
gerektiği" kuralını çiğniyor.
Robotlar, kendi varlıklarını
korumakla ilgilenmez.

Chinese: 
但我们可能就没有这么幸运了。
那我们应该怎么办呢？
我想要重新定义人工智能，
远离传统的定义，
将其仅限定为
机器通过智能去达成目标。
新的定义涉及到三个原则：
第一个原则是利他主义原则，
也就是说，机器的唯一目标
就是去最大化地实现人类的目标，
人类的价值。
至于价值，我指的不是感情化的价值，
而是指人类对生活所向往的，
无论是什么。
这实际上违背了阿西莫夫定律，
他指出机器人一定要维护自己的生存。
但我定义的机器
对维护自身生存毫无兴趣。

Spanish: 
Pero tal vez no tengamos tanta suerte.
Entonces, ¿qué vamos a hacer?
Estoy tratando de redefinir la IA
para alejarnos de esta noción clásica
de máquinas que persiguen objetivos
de manera inteligente.
Hay tres principios implicados.
El primero es un principio
de altruismo, por así decirlo,
el único objetivo del robot
es maximizar la realización
de los objetivos humanos,
de los valores humanos.
Y por valores aquí no me refiero
a valores sentimentales o de bondad.
Solo quiero decir aquello
más similar a la vida
que un humano preferiría.
Y esto viola la ley de Asimov
de que el robot debe proteger
su propia existencia.
No tiene ningún interés en preservar
su existencia en absoluto.

Portuguese: 
Mas podemos não ter tanta sorte.
[Desculpe, Dave,
mas não posso fazer isso.]
Então, o que faremos?
Estou tentando redefinir
a Inteligência Artificial
para escapar dessa ideia tradicional
de computadores que se dedicam
aos objetivos de forma inteligente.
Há três princípios envolvidos.
O primeiro é o princípio do altruísmo
segundo o qual o único objetivo do robô
é maximizar a realização
de objetivos do homem,
de valores humanos.
Por valores aqui, não me refiro
a valores morais, sentimentais.
Refiro-me apenas ao que o homem
prefere que seja sua vida.
Isso realmente viola a lei de Asimov
pela qual o robô
deve proteger sua existência.
Ele não tem interesse em preservar
sua existência de forma alguma.

iw: 
אבל אנחנו עלולים לא
להיות ברי מזל באותה מידה.
אז מה נעשה?
אני מנסה להגדיר את הב''מ במושגים אחרים
כדי להתנתק מן ההעקרון הקלאסי
לפיו מכונות שואפות
לבצע משימות בצורה תבונתית.
ישנם שלושה עקרונות בבסיס העניין.
הראשון הוא, אם תרצו, עקרון האלטרויזם --
-- המשימה היחידה של הרובוטים היא
מיקסום הגשמתן של המטרות של בני אנוש,
של ערכי בני אנוש.
באומרי "ערכים" אינני מתכוון כאן
לערכים נשגבים של יפי נפש.
אני פשוט מתכוון לכל מה שבני אנוש
מעדיפים בחייהם.
זה למעשה נוגד לחוק אסימוב
לפיו רובוט חייב להגן
על קיומו.
אין לו עניין בשימור קיומו בכלל.

English: 
But we might not be so lucky.
So what are we going to do?
I'm trying to redefine AI
to get away from this classical notion
of machines that intelligently
pursue objectives.
There are three principles involved.
The first one is a principle
of altruism, if you like,
that the robot's only objective
is to maximize the realization
of human objectives,
of human values.
And by values here I don't mean
touchy-feely, goody-goody values.
I just mean whatever it is
that the human would prefer
their life to be like.
And so this actually violates Asimov's law
that the robot has to protect
its own existence.
It has no interest in preserving
its existence whatsoever.

Chinese: 
但我們可能就沒有這麽幸運了。
那我們應該怎麽辦呢？
我想要重新定義人工智慧，
不再囿於傳統的概念：
能明智地達成目標的機器。
新的定義涉及三條原則。
第一個原則是利他主義原則，
也就是說，機器的唯一目標
就是要最大化地實現
人類的目標、人類的價值。
這種價值不是指多愁善感
或者假裝乖巧，
而是指人類所嚮往、追求的生活，
無論現狀如何。
事實上，這樣就違反了艾西莫夫定律，
定律裡的機器人必須維護自己的生存。
而在這條原則裡
機器對自身生存與否毫不關心。

Vietnamese: 
Nhưng có thể chúng ta sẽ 
không may mắn như thế.
[Xin lỗi Dave. Tôi e rằng 
tôi không thể làm điều đó được.]
Vậy chúng ta sẽ phải làm gì?
[AI hợp tác được với con người]
Tôi đang cố định nghĩa lại về AI
để thoát khỏi định nghĩa truyền thống
là máy móc mà theo đuổi 
mục tiêu một cách thông minh.
Nó bao gồm ba nguyên tắc.
Thứ nhất,
đó là nguyên tắc về 
lòng vị tha, nếu bạn thích,
mục tiêu duy nhất của robot là
hiện thực hóa tối đa 
mục tiêu của con người,
các giá trị của con người.
Và giá trị ở đây tôi muốn nói không phải 
sự nhạy cảm hay đạo đức giả.
Ý tôi là bất kể thứ gì mà con người muốn 
cuộc sống của họ trở nên giống thế.
Và thực ra thì điều này 
đã vi phạm luật của Asimov
đó là robot phải tự bảo vệ 
sự tồn tại của nó.
Nó không hứng thú duy trì 
sự tồn tại của mình bất kể thế nào.

Italian: 
Ma possiamo non essere così fortunati.
Quindi cosa faremo?
Sto cercando di ridefinire l'IA
per fuggire da questa nozione classica
di macchine che perseguono obiettivi
in modo intelligente.
Ci sono tre principi coinvolti.
Il primo è un principio
di altruismo, se volete,
secondo cui l'unico obiettivo del robot
è massimizzare la realizzazione
degli obiettivi umani,
dei valori umani.
E con valori qui non intendo
valori sdolcinati, da santarellini.
Intendo comunque vogliano
gli esseri umani
che sia la loro vita.
E in realtà ciò viola la legge di Asimov
secondo cui il robot
deve tutelare la sua esistenza.
Non c'è alcun interesse 
nel preservare la sua esistenza.

Japanese: 
でも私たちはそんなに幸運では
ないかもしれません
では どうしたらいいのでしょう？
「知的に目的を追求する機械」という
古典的な見方から離れて
AIの再定義を試みようと思います
３つの原則があります
第１は「利他性の原則」で
ロボットの唯一の目的は
人間の目的
人間にとって価値あることが
最大限に実現される
ようにすることです
ここで言う価値は 
善人ぶった崇高そうな価値ではありません
単に何であれ
人間が自分の生活に
望むものということです
この原則は
「ロボットは自己を守らなければならない」
というアシモフの原則に反します
自己の存在維持には
まったく関心を持たないのです

German: 
Wir werden vielleicht weniger Glück haben.
Was werden wir also tun?
Ich versuche, KI neu zu definieren,
um von dieser klassischen Vorstellung
wegzukommen, dass Maschinen
Ziele auf intelligente Weise verfolgen.
Es geht um drei Prinzipien.
Das erste ist ein Prinzip des Altruismus,
dass das einzige Ziel eines Roboters ist,
die Verwirklichung menschlicher
Ziele und Werte zu maximieren.
Mit Werten meine ich nicht
gefühlsduselige, tugendhafte Werte,
sondern wie ein Mensch
sein Leben bevorzugen würde.
Das widerspricht also Asimovs Gesetz,
dass der Roboter
sich selbst schützen muss.
Er hat kein Interesse an Selbsterhaltung.

Arabic: 
لكنّنا
قد لا نكونُ مَحظوظينَ على الدّوام.
ما الذي سنفعلهُ إذاً؟
أحاولُ حقيقةً أنْ أقومَ
بإعادةِ تعريفِ الذّكاءِ الاصطناعي
بطريقةٍ تُنهي جميعَ الشكوكِ
حولَ إمكانيّةِ تمرُّدِ الآلاتِ
ومحاولتها تحقيقَ أهدافِها الشخصيّة.
سأعتمدُ إذاً على ثلاثِ مبادئَ أساسيّة
وأوّل مبدأٍ هوَ مبدأُ الإيثار
بأنْ يكونَ الهدفُ الوحيدُ للرّوبوتِ هوَ
أنْ يُحاولَ تحقيقَ أكبرِ قدرٍ ممكنٍ
من أهدافِ البشر
و مِنْ قيم البشريّة.
وبقيم البشريّةِ لستُ أعني
تلكَ المثاليّاتِ البعيدةَ عن الواقع.
بل أعني بها أيّ شيءٍ
قد يفضل الإنسان
أن تكون عليه حياته.
وهوَ ما ينتهكُ (قانونَ أزيموف)
بأنّه على الروبوتِ
حمايةُ حياتهِ الشخصيّة.
لايجبُ أنْ يهتمَّ الروبوتُ
بهكذا أمورٍ مطلقاً.

Modern Greek (1453-): 
Όμως εμείς μπορεί 
να μην είμαστε τόσο τυχεροί.
Οπότε τι θα κάνουμε;
Προσπαθώ να επαναπροσδιορίσω
την Τεχνητή Νοημοσύνη,
ώστε να ξεφύγω από την κλασσική αντίληψη
των μηχανών που ευφυώς ακολουθούν σκοπούς.
Υπάρχουν τρεις εμπλεκόμενες αρχές.
Η πρώτη είναι η αρχή του αλτρουισμού,
εάν μου επιτρέπετε,
όπου ο μόνος σκοπός του ρομπότ
είναι η απόλυτη συνειδητοποίηση
των ανθρώπινων σκοπών,
των ανθρώπινων αξιών.
Και δεν αναφέρομαι σε αγνές,
αθώες και συναισθηματικές αξίες.
Μιλάω για τον οποιοδήποτε τρόπο
που οι άνθρωποι προτιμούν
να είναι η ζωή τους.
Πράγματι, έτσι παραβιάζεται
ο νόμος του Ασίμωφ,
ότι το ρομπότ πρέπει να αυτοπροστατευτεί.
Πλέον, δεν έχει κανένα απολύτως 
ενδιαφέρον στην διατήρηση της ύπαρξής του.

French: 
Nous pourrions avoir moins de chance.
Alors qu'allons-nous faire ?
J'essaie de redéfinir l'IA,
afin de nous éloigner
de cette notion classique
de machines qui poursuivent
leurs objectifs de manière intelligente.
Cela repose sur trois principes.
Le premier est un principe d'altruisme,
si vous voulez.
L'unique objectif du robot
est de maximiser la réalisation
des objectifs des êtres humains,
des valeurs humaines.
Je ne parle pas de celles qui sont
sentimentales ou sainte-nitouche.
Je parle de la vie que
les êtres humains voudraient
par n'importe quels moyens.
Cela viole la loi d'Asimov,
selon laquelle
le robot doit protéger
sa propre existence.
Il n'a aucun intérêt
à préserver son existence.

Persian: 
قانون دوم، قانون فروتنی هست.
البته اگه خوشتون بیاد.
و این قانون نقش مهمی
در امن کردن ربات‌ها داره.
طبق این قانون، ربات نمیدونه که
ارزش‌های انسانی چه چیز‌هایی هستند
باید در راستای محقق شدنشون تلاش کنه،
ولی نمیدونه چه چیزهایی هستند.
و این از مشکل دنبال کردن تک-ذهنی هدف
جلوگیری می‌کنه.
این عدم قطعیت بسیار مهم هست.
حالا، برای اینکه ربات برای ما مفید باشه
باید یک ایده‌ای
ازچیزی که میخوایم داشته باشه.
و این اطلاعات رو در درجه اول
از مشاهده انتخاب‌های انسان به دست می‌آره.
پس، انتخاب‌های خود ما هستند
که اطلاعات رو آشکار میکنن
درباره چیزی که ما ترجیح میدیم
زندگیمون شبیه به اون باشه.
پس این ۳ اصل بیان شد.
حالا بیاین ببینیم که این اصول،
چگونه روی این سوال عمل میکند:
«آیا میتونی ماشین رو خاموش کنی؟»
همانطور که تورینگ پیشنهاد داد.
این یک ربات مدل PR2 هستش.
که ما یک نمونه از آن در آزمایشگاهمون داریم
و یک دکمه بزرگ قرمز
برای «خاموش» کردن در پشتش داره.
سوال اینه که آیا
این ربات بهتون اجازه میده که خاموشش کنین؟

Turkish: 
İkinci kuralın
mütevazilikle ilgili olduğu söylenebilir.
Bunun, bir robotun güvenilir olmasında
büyük katkısı olduğu ortaya çıktı.
Bu kural, robotların insanların 
değerlerinin ne olduğunu
bilmeden onları arttırmaya
çalıştığını söylüyor.
Yani bilmediği değerleri
arttırmaya çalışıyor.
Bu da tek-hedefli uğraş
problemini önler.
Bu belirsizliğin çok önemli
olduğu ortaya çıktı.
Bunun bize yararlı olabilmesi için
robotların bizlerin ne isteyebileceği 
hakkında bir fikri olmalı.
Bu bilgiyi de birincil olarak insanların
tercihlerini gözlemleyerek elde eder.
Dolayısıyla bizim tercihlerimiz,
yaşamlarımızın nasıl olmasını
istediğimize ilişkin bilgi sunuyor.
İşte üç ilke bunlar.
O zaman bu ilkelerin,
Turing'in önerdiği
''makineyi kapatabilir misin?''
sorusuna nasıl
uygulandığını inceleyelim.
Burada gördüğünüz bir PR2 robotu.
Bu gördüğünüz bizim
laboratuvarımızdaki PR2.
Gördüğünüz gibi arkasında kocaman 
kırmızı bir ''kapat'' düğmesi var.
Sorumuz şu:
Onu kapatmanıza izin verecek mi?

Chinese: 
第二个原则不妨称之为谦逊原则。
这一条对于制造安全的机器十分重要。
它说的是机器不知道
人类的价值是什么，
机器知道它需要将人类的价值最大化，
却不知道这价值究竟是什么。
为了避免一根筋地追求
某一目标，
这种不确定性是至关重要的。
那机器为了对我们有用，
它就得掌握一些
关于我们想要什么的信息。
它主要通过观察人类
做的选择来获取这样的信息，
我们自己做出的选择会包含着
关于我们希望我们的生活
是什么样的信息，
这就是三条原则。
让我们来看看它们是如何应用到
像图灵说的那样，
“将机器关掉”这个问题上来。
这是一个PR2机器人。
我们实验室里有一个。
它的背面有一个大大的红色的开关。
那问题来了：它会让你把它关掉吗？

iw: 
העקרון השני, אם תרצו,
הוא עקרון הענווה.
מתברר שהוא חשוב מאוד
ליצירת רובוטים בטוחים.
לפיו רובוט איננו יודע
מהם ערכי בני האנוש.
הוא חייב לממש אותם על הצד הטוב ביותר,
אבל הוא לא יודע מה הם.
זה עוקף את בעיית חתירה חד-כיוונית
למשימה.
אי הוודאות הזאת הופכת לעניין מכריע.
בכדי שרובוט יהיה מועיל לנו
עליו לדעת מה אנו רוצים, ברמה כלשהי.
הוא מקבל מידע זה בעיקר
מצפיה בבחירות אנושיות,
כך שהבחירות שלנו מלמדות מידע
על כיצד אנו מעדיפים שחיינו יהיו.
אלה הם שלושת העקרונות.
הבה נראה כיצד הם מיושמים בבעיה של:
"האם אתה יכול לכבות את המכונה?"
כפי שהציע טיורינג.
הינה רובוט מדגם PR2 --
-- אחד מאלה שיש לנו במעבדה
ויש לו על הגב כפתור כיבוי גדול ואדום.
השאלה היא: האם הוא ירשה לך לכבות אותו?

English: 
The second law is a law
of humility, if you like.
And this turns out to be really
important to make robots safe.
It says that the robot does not know
what those human values are,
so it has to maximize them,
but it doesn't know what they are.
And that avoids this problem
of single-minded pursuit
of an objective.
This uncertainty turns out to be crucial.
Now, in order to be useful to us,
it has to have some idea of what we want.
It obtains that information primarily
by observation of human choices,
so our own choices reveal information
about what it is that we prefer
our lives to be like.
So those are the three principles.
Let's see how that applies
to this question of:
"Can you switch the machine off?"
as Turing suggested.
So here's a PR2 robot.
This is one that we have in our lab,
and it has a big red "off" switch
right on the back.
The question is: Is it
going to let you switch it off?

Chinese: 
第二個原則，不妨稱之為謙遜原則。
這一條對製造出安全的機器人十分重要。
它是指機器人不知道人類的價值是什麽，
它只知道將該價值最大化，
但卻不知道該價值究竟是什麽。
這就避免了「追求單一目的
而不知變通」的現象。
這種不確定性就變得很重要了。
為了對我們有益，
機械就得大概明白我們想要什麽。
它要獲取這類信息，主要是
透過觀察人類的決策，
所以我們的決策會揭露
我們生活的意願，
所以，這三條原則，
讓我們來看看要如何
應用到圖靈所說的問題：
「你能不能將機器關掉？」
這是 PR2 機器人，
這是我們實驗室裡的其中一台，
它的背面有一個大大的紅色開關。
那問題來了：它會讓你把它關掉嗎？

Vietnamese: 
Luật thứ hai đó là luật về 
sự khiêm tốn, nếu bạn thích.
Và điều này thật ra rất quan trọng để 
robot trở nên an toàn.
Nó nói rằng robot không hề biết
những giá trị của con người là gì,
nên nó phải tối ưu hóa chúng,
nhưng không biết chúng là gì.
Do đó tránh khỏi rắc rối từ sự chuyên tâm 
theo đuổi mục đích.
Sự không chắc chắn này 
hóa ra lại rất quan trọng.
Bây giờ, để trở nên có ích cho chúng ta,
nó phải có một chút ý tưởng về thứ
mà chúng ta muốn.
Nó thu nhận các thông tin này chủ yếu 
bằng việc quan sát con người lựa chọn,
vậy lựa chọn của chúng ta sẽ 
hé lộ thông tin
về những thứ mà chúng ta muốn 
cuộc sống của mình trở nên như vậy.
Vậy đó là ba nguyên tắc.
Hãy xem ta áp dụng chúng vào 
câu hỏi này như thế nào:
"Bạn có thể tắt nguồn chiếc máy không?"
như Turing đã đưa ra.
[Vấn đề tắt nguồn]
Đây là robot PR2.
Một cái ở phòng nghiên cứu chúng tôi có,
và nó có một nút "tắt" lớn đỏ ở sau lưng.
Câu hỏi là: 
Nó có để cho bạn tắt nó đi không?

Korean: 
두 번째 원칙은 겸손에 관한 
법칙이라고 말할 수 있습니다.
로봇의 안전을 지키기 위한 
아주 중요한 원칙이죠.
이 원칙은
로봇들은 인간이 추구하는 가치가
무엇인지는 알 수 없다는 것입니다.
가치를 극대화해야 하지만 그것이 
무엇인지는 알지 못한다는 것이죠.
그렇기 때문에 이를 통해서
목표만을 맹목적으로 추구하는
문제를 피할 수 있습니다.
이런 불확실성은 
매우 중요한 부분입니다.
자, 우리에게 도움이 되기 위해서는
우리가 무엇을 원하는지에 대한
개념을 갖고 있어야 합니다.
로봇은 주로 사람들이 선택하는 
것을 관찰해서 정보를 얻습니다.
그래서 우리들의 선택 안에는
우리 삶이 어떻게 되기를 
바라는지에 관한 정보가 있습니다
이것들이 세 개의 원칙입니다.
자 그러면 이것이 다음 질문에 
어떻게 적용되는지 살펴봅시다.
기계의 전원을 끌 수 있을지에 관해 
앨런 튜링이 제기했던 문제입니다.
여기에 PR2 로봇이 있습니다.
저희 연구소에 있는 로봇입니다.
이 로봇 뒤에는 커다랗고 빨간
"꺼짐" 버튼이 있습니다.
자 여기에서 질문입니다. 
로봇은 여러분이 전원을 끄도록 할까요?

Hungarian: 
A második törvény, ha úgy tetszik,
az alázatosság törvénye.
Úgy tűnik, ez rendkívül fontos,
hogy a robotokat biztonságossá tegyük.
Azt mondja ki, hogy a robot nem ismeri
az emberi értékeket,
maximalizálni igyekszik,
ám mégsem tudja, mik azok.
Ez elkerüli az együgyű célratörő
magatartást.
Ez a bizonytalanság kulcsfontosságú.
Hogy ennek hasznát vegyük,
némi elképzelésének kell lennie,
hogy mit is akarunk.
Ehhez az információt az emberi döntések
megfigyeléséből szerzi,
mert a döntéseink árulkodnak arról,
hogy milyenné szeretnénk tenni
az életünket.
Ez a három alapelv.
Nézzük, hogyan alkalmazhatóak
a következő kérdésre:
"Ki tudod kapcsolni a gépet?" -
ahogy Turing javasolta.
Tehát itt egy PR2-es robot.
Ez van nálunk a laborban,
és van egy nagy,
piros "off" kapcsoló a hátán.
A kérdés: 
engedni fogja, hogy kikapcsoljuk?

German: 
Das zweite Gesetz ist
das Gesetz der Ergebenheit.
Das ist sehr wichtig,
um Roboter sicherzumachen.
Es besagt, dass der Roboter
diese menschlichen Werte nicht kennt,
sie maximieren soll, aber sie nicht kennt.
Das verhindert das Problem
des zielstrebigen Verfolgens eines Ziels.
Diese Ungewissheit ist ausschlaggebend.
Damit er uns nützlich ist,
muss er eine Ahnung haben, was wir wollen.
Er erlangt diese Information durch das
Beobachten menschlicher Entscheidungen.
Unsere Entscheidungen
beinhalten Information darüber,
wie wir unser Leben gerne hätten.
Das sind die drei Prinzipien.
Was bewirken sie bei der Frage
"Kann man die Maschine ausschalten?",
wie Turing vorschlug.
Hier ist ein PR2-Roboter.
Den haben wir bei uns im Labor
und er hat einen großen,
roten Ausschalter am Rücken.
Die Frage ist: Lässt es uns
ihn ausschalten?

Spanish: 
La segunda ley es una ley
de humildad, digamos.
Y resulta muy importante
para que los robots sean seguros.
Dice que el robot no sabe
cuáles son esos valores humanos,
así que debe maximizarlos,
pero no sabe lo que son.
Lo cual evita el problema 
de la búsqueda obsesiva
de un objetivo.
Esta incertidumbre resulta crucial.
Claro que para sernos útiles,
deben tener alguna idea 
de lo que queremos.
Obtiene esa información sobre todo
observando elecciones humanas,
para que nuestras propias
decisiones revelen información
sobre lo que nosotros preferimos
para nuestras vidas.
Estos son los tres principios.
Veamos cómo se aplica a esta cuestión
de "apagar la máquina", 
como sugirió Turing.
He aquí un robot PR2.
Es uno que tenemos
en nuestro laboratorio,
y tiene un gran botón rojo de 'apagado'
en la parte posterior.
La pregunta es: ¿Va a
dejar que lo apaguen?

Portuguese: 
A segunda lei é a lei da humildade.
Isso vem a ser realmente importante
para fazer com que os robôs sejam seguros.
Segundo ela, o robô não sabe
quais são esses valores humanos.
Então, ele tem que maximizá-los,
mas não sabe quais são eles.
Isso evita este problema de busca
determinada por um objetivo.
Esta incerteza revela-se crucial.
Para ser útil a nós, ele precisa
ter uma ideia do que queremos.
Ele obtém essa informação principalmente
pela observação das escolhas humanas.
Assim nossas próprias escolhas
revelam informação
sobre como preferimos
que sejam nossas vidas.
São três princípios.
Vejamos como isso
se aplica a esta questão:
"Você pode desligar o computador?"
como sugeriu Turing.
Aqui está o robô PR2,
que temos em nosso laboratório,
com um grande botão
liga e desliga vermelho nas costas.
A questão é: ele deixará você desligá-lo?

Russian: 
Второе, правило покорности.
Это действительно важно для того,
чтобы обезопасить нас от роботов.
Оно гласит: робот не знает,
что именно относится
к человеческим ценностям,
он должен приумножать их,
не зная, что они из себя представляют.
Это позволяет избежать
проблемы концентрации
на одной цели.
Эта неопределённость оказывается решающей.
Но, чтобы приносить пользу,
у него должно быть
общее понимание наших желаний.
Он узнаёт об этом, в первую очередь,
из решений, принимаемых людьми,
так что принятые нами решения
содержат информацию о том,
какой мы хотим сделать нашу жизнь.
Итак, вот эти три правила.
Теперь рассмотрим,
как они применяются к вопросу,
поставленному Тьюрингом:
«Можно ли отключить машину?»
Итак, это робот PR2
из нашей лаборатории.
Прямо на спине у него
есть красная кнопка «Выкл».
Вопрос: позволит ли он вам отключить его?

French: 
La deuxième loi est une loi d'humilité,
si vous préférez.
Elle s'avère très importante
afin de rendre le robot inoffensif.
L'idée, c'est que le robot ne sait pas
ce que sont les valeurs humaines.
Il doit les maximiser,
mais il ne sait pas ce qu'elles sont.
Pour éviter une quête obsessionnelle
d'un objectif,
cette incertitude s'avère cruciale.
Mais pour nous être utiles,
il doit avoir une idée de nos désirs.
Il obtient cette information surtout
par l'observation des choix humains.
Ces choix révèlent donc des informations
quant à ce que nous désirons
pour notre vie.
Ce sont donc les trois principes.
Voyons comment cela s'applique
à la question
de Turing :
« Pouvez-vous éteindre la machine ? »
Voici un robot PR2.
C'est celui que nous avons au laboratoire
Il possède un gros interrupteur rouge
directement sur le dos.
La question est :
« Va-t-il nous laisser l'éteindre ? »

Italian: 
La seconda legge è una legge
di umiltà, se volete.
E si rivela essere davvero importante
per rendere sicuri i robot.
Dice che il robot non sa
quali sono questi valori umani,
quindi li deve massimizzare,
ma non sa cosa sono.
E questo evita questo problema
della caccia risoluta
di un obiettivo.
Questa incertezza si rivela cruciale.
Per essere utile a noi,
deve avere un'idea di quello che vogliamo.
Lui ottiene l'informazione in primo luogo
dall'osservazione delle scelte umane,
quindi le nostre scelte rivelano
delle informazioni
su ciò che vogliamo
che le nostre vite siano.
Quindi questi sono i tre principi.
Vediamo come si applicano
alla seguente domanda:
"Riuscite a spegnere la macchina?"
come suggeriva Turing.
Ecco un robot PR2.
È uno che abbiamo in laboratorio,
e ha un gran pulsante "off"
sul dorso.
La domanda è: ti permetterà
di spegnerlo?

Modern Greek (1453-): 
Η δεύτερη αρχή είναι ο νόμος
της ταπεινοφροσύνης, εάν μου επιτρέπετε.
Αποδεικνύεται ιδιαίτερα σημαντικός
για την δημιουργία ασφαλών ρομπότ.
Αναφέρει ότι το ρομπότ δεν γνωρίζει
ποιες είναι οι ανθρώπινες αξίες,
οπότε πρέπει να τις μεγιστοποιήσει
χωρίς να γνωρίζει ποιες είναι.
Έτσι αποφεύγεται το πρόβλημα
της επίμονης επιδίωξης ενός σκοπού.
Αυτή η αβεβαιότητα αποδεικνύεται κρίσιμη.
Για να είναι όμως χρήσιμο σε εμάς
πρέπει να έχει κάποια ιδέα του τι θέλουμε.
Αποκτά αυτή τη πληροφορία κυρίως μέσω
της παρατήρησης των ανθρώπινων επιλογών,
άρα οι ίδιες οι επιλογές μας
δίνουν πληροφορίες
για το πως προτιμούμε
να ζούμε τις ζωές μας.
Αυτές είναι λοιπόν, οι τρεις αρχές.
Ας δούμε πώς εφαρμόζονται στο ερώτημα
«Μπορούμε να απενεργοποιήσουμε τη μηχανή;»
όπως τέθηκε από τον Τούρινγκ.
Έχουμε, λοιπόν, ένα ρομπότ PR2.
Αυτό είναι εκείνο του εργαστηρίου μας
και έχει ένα μεγάλο, κόκκινο κουμπί
απενεργοποίησης στην πλάτη.
Το ερώτημα είναι αν θα σε αφήσει
να το απενεργοποιήσεις.

Arabic: 
أمّا المبدأ الثاني فَهوَ
مبدأُ التذلّلِ إنْ صحَّ التّعبير.
وهوَ مهمٌّ للغايةِ لإبقاءِ
الروبوتاتِ آمنة.
و ينُصُّ على أنَّ الروبوتَ
لا يعلمَ
بحقيقةِ المنافعِ التي سيحقّقها للبشريّةِ
ولكنّهُ سيعملُ على تحقيقِ أكبرِ قدرٍ منها
لكنه لا يعلم ماهيتها.
وهوَ ماسيوقفهُ عن اتّخاذِ قراراتهِ الخاصةِ
حولَ الهدفِ الموكلِ إليه.
إذ أن عدم اليقين يبدو أمرًا بالغ الأهمية.
لكنْ لكيّ يكونَ الروبوتُ مفيداً لنا
لابدّ مِنْ أنْ يمتلكَ فكرةً
عمّا نريده.
ستسكتشِفُ الروبوتاتُ مانريدهُ مِنها
عبرَ مراقبةِ سلوكِنا
فاختياراتنا الشخصية ستعطي معلومات
عما نفضّلُ أن تكون حياتنا عليه.
هذه هيَ إذاً المبادئُ الثلاثة.
لنرى سويّةً كيفَ يمكنُ تطبيقُ هذه المبادئ
على فكرة "قطع الطاقة عن الروبوت"
التي اقترحها (تيورنغ).
إذاً، سأقدّم إليكُم الرّوبوت (PR2)
الذي نمتلكهُ في مختبرنا للأبحاث.
ولديه كما ترونَ زرُّ إطفاءِ تشغيلٍ
أحمرُ كبيرٌ على ظهره.
والسّؤال هوَ:
هل سيسمحُ الروبوتُ لكَ بضغطِ هذا الزرّ؟

Japanese: 
第２の原則は 
言うなれば「謙虚の原則」です
これはロボットを安全なものにする上で
非常に重要であることがわかります
この原則は
ロボットが人間の価値が何か
知らないものとしています
ロボットは最大化すべきものが何か
知らないということです
１つの目的を
一途に追求することの問題を
これで避けることができます
この不確定性が
極めて重要なのです
人間にとって有用であるためには
我々が何を望むのかについて
大まかな理解は必要です
ロボットはその情報を主として
人間の選択を観察することで得ます
我々が自分の生活に望むのが
何かという情報が
我々のする選択を通して
明かされるわけです
以上が３つの原則です
これがチューリングの提起した
「機械のスイッチを切れるか」という問題に
どう適用できるか
見てみましょう
これは PR2 ロボットです
私たちの研究室にあるもので
背中に大きな赤い
「オフ」スイッチがあります
問題は ロボットがスイッチを
切らせてくれるかということです

Vietnamese: 
Giả sử ta làm theo cách truyền thống,
đưa cho nó mục tiêu là "Đi lấy cà phê",
"Tôi phải đi lấy cà phê",
"Tôi không thể lấy cà phê nếu tôi chết",
vậy rõ ràng PR2 đã nghe bài nói của tôi,
và do đó nó nói: 
"Tôi phải vô hiệu hóa nút "tắt" của mình,
và có lẽ sốc điện tất cả 
những người trong Starbucks,
những người có thể cản trở tôi."
(Cười)
Vậy điều này có vẻ không thể 
tránh khỏi, đúng không?
Sự thất bại như thế này có vẻ 
không thể tránh được,
và nó là kết quả của việc có 
một mục tiêu rõ ràng.
Vậy sẽ thế nào nếu chiếc máy 
không chắc chắn với mục tiêu của mình?
Nó sẽ lý luận theo một cách khác.
Nó nghĩ: "Chà, con người 
có thể sẽ tắt mình mất,
nhưng chỉ khi mình làm sai gì đó.
Mình thực sự không biết thế nào là "sai",
nhưng mình biết là 
mình không muốn làm điều đó."
Và đây là lúc áp dụng 
luật thứ nhất và thứ hai.
"Do đó mình nên để con người tắt mình đi."
Và thực tế bạn có thể tính toán động lực

Turkish: 
Bunu klasik şekilde
yapacak olursak
ve ona ''kahveyi getir, 
kahveyi getirmeliyim,
ölürsem kahveyi getiremem''
amacını verirsek,
tabi PR2 konuşmamı dinlemekteydi,
dolayısıyla ''kapama düğmemi 
işlev dışı bırakmalıyım
ve Starbucks'ta bana
müdahale etmeye çalışan
diğer insanları da belki
elektrikle şoklarım'' der.
(Gülüşmeler)
Yani bu kaçınılmaz
görünüyor, değil mi?
Bu çeşit bir hata modu
kaçınılmaz görünüyor ve
bu da kesin ve net bir hedef 
konulmasından kaynaklanıyor.
Peki, eğer makine hedef hakkında
emin değilse ne olur?
O zaman daha farklı bir mantık yürütür.
O zaman der ki, 
''Peki, insan beni kapatabilir
ama sadece yanlış bişey yaparsam.
Ben neyin yanlış olduğunu
tam bilmiyorum
ama yanlış yapmak
istemediğimi biliyorum.''
Burada birinci ve ikinci
ilkeleri görebiliyorsunuz.
''Öyleyse insanın beni
kapatmasına izin vermeliyim.''
Aslında bir robotun insana
kendini kapatması için izin vermesindeki

Russian: 
Если мы пойдём старым путём,
у него будет цель «Варить кофе;
я должен варить кофе;
я не могу варить кофе, если я мёртв».
Очевидно, PR2 слушал моё выступление,
и поэтому он говорит:
«Я должен сломать свой выключатель
и вырубить работников Starbucks,
которые могут мне помешать».
(Смех)
Это кажется неизбежным, не так ли?
Кажется, этого фатального режима
невозможно избежать,
он следует из конкретно определённой цели.
Что же случится, если у машины
не будет чётко поставленной цели?
Тогда она будет рассуждать по-другому
и скажет: «Человек может отключить меня,
но только если я допущу ошибку.
Я точно не знаю, что правильно, а что нет,
но я точно знаю, что не хочу ошибаться».
Здесь действуют первые два правила.
«Следовательно, я должен
разрешить людям отключить меня».
Фактически вы можете
просчитать стимул, благодаря которому

English: 
If we do it the classical way,
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
I can't fetch the coffee if I'm dead,"
so obviously the PR2
has been listening to my talk,
and so it says, therefore,
"I must disable my 'off' switch,
and probably taser all the other
people in Starbucks
who might interfere with me."
(Laughter)
So this seems to be inevitable, right?
This kind of failure mode
seems to be inevitable,
and it follows from having
a concrete, definite objective.
So what happens if the machine
is uncertain about the objective?
Well, it reasons in a different way.
It says, "OK, the human
might switch me off,
but only if I'm doing something wrong.
Well, I don't really know what wrong is,
but I know that I don't want to do it."
So that's the first and second
principles right there.
"So I should let the human switch me off."
And in fact you can calculate
the incentive that the robot has

Hungarian: 
Ha hagyományosan csináljuk,
azt a parancsot adjuk neki,
hogy: "Hozd ide a kávét!",
"Hoznom kell a kávét,
nem tudom hozni, ha halott vagyok" -
tehát a PR2 nyilván hallgat rám,
ezért azt mondja:
"Le kell tiltanom az 'off' gombom,
és jobb lenne ártalmatlanítani
mindenkit a Starbuksnál is,
aki utamat állhatja."
(Nevetés)
Ez tehát elkerülhetetlennek tűnik, igaz?
Ez a zátonyra futás
elkerülhetetlennek látszik,
és ez egyszerűen a konkrét, 
meghatározott célból következik.
Mi történik, ha a gép 
nem biztos a céljában?
Akkor másképp okoskodik.
Azt mondja magában: 
"Talán kikapcsol az ember,
de csak akkor, ha valami rosszat teszek.
Nem igazán tudom, mi rossz,
de azt tudom, 
hogy olyat nem akarok tenni."
Ez volt eddig az első 
és a második alapelv.
"Engednem kell tehát, 
hogy az ember kikapcsoljon."
Tényleg ki lehet számolni
a robotnak szükséges ösztönzést,
hogy megengedje a kikapcsolását,

Japanese: 
古典的なやり方をするなら
「コーヒーを取ってくる」
という目的に対し
「コーヒーを取ってこなければならない」
「死んだらコーヒーを取ってこれない」と考え
私の講演を聴いていたPR2は
「オフ・スイッチは無効にしなければ」
と判断し
「スターバックスで邪魔になる
他の客はみんな
テーザー銃で眠らせよう」
となります
(笑)
これは避けがたい
ように見えます
このような故障モードは
不可避に見え
そしてそれは具体的で絶対的な
目的があることから来ています
目的が何なのか機械に
確信がないとしたら どうなるでしょう？
違ったように推論するはずです
「人間は自分のスイッチを
切るかもしれないが
それは自分が何か
悪いことをしたときだけだ
悪いことが何か
よく分からないけど
悪いことはしたくない」
ここで 第１ および第２の原則が
効いています
「だからスイッチを切るのを
人間に許すべきだ」
実際ロボットが人間に
スイッチを切ることを許す
インセンティブを
計算することができ

Modern Greek (1453-): 
Αν κινηθούμε κλασσικά,
δίνουμε την εντολή, «Φέρε τον καφέ,
πρέπει να φέρω τον καφέ,
δεν μπορώ να φέρω τον καφέ
άμα είμαι κατεστραμμένος»,
άρα προφανώς το PR2
παρακολουθεί την ομιλία μου,
οπότε λέει, «Πρέπει να χαλάσω
το διακόπτη απενεργοποίησης
και να ρίξω αναίσθητο
οποιονδήποτε στα Starbucks
που ίσως με σταματήσει».
(Γέλια)
Αυτό, λοιπόν, φαίνεται αναπόφευκτο, σωστά;
Αυτή η λειτουργία αποτυχίας
φαίνεται αναπόφευκτη
και προέρχεται από την ύπαρξη
ενός σαφούς και ξεκάθαρου σκοπού.
Τι συμβαίνει όμως, αν η μηχανή
είναι αβέβαιη για το σκοπό;
Θα επιχειρηματολογήσει διαφορετικά.
Λέει, «Εντάξει, ο άνθρωπος 
ίσως με απενεργοποιήσει,
αλλά μόνο εάν κάνω κάτι λάθος.
Δεν γνωρίζω, όμως, τι είναι λάθος,
αλλά γνωρίζω ότι δεν θέλω να το κάνω».
Εδώ βρίσκουμε λοιπόν, την πρώτη
και τη δεύτερη αρχή.
«Άρα θα έπρεπε να αφήσω τον άνθρωπο
να με απενεργοποιήσει».
Στην πραγματικότητα, μπορούμε 
να εκτιμήσουμε ότι το κίνητρο του ρομπότ

Arabic: 
إنْ تخيّلنا الموضوعَ كالمُعتاد
أنْ نخبرهُ بأنْ يجلبَ القهوةَ
ويفكّر: "يجب أن أجلب القهوة بأيّ ثمن"
"لكنني لن أستطيعَ جلبَ القهوةِ لأحدٍ
وأنا ميت"
من الواضح أنَّ الروبوتَ كانَ يُشاهدُ
هذه المحادثة،
وبالتّالي سيقرّرُ الروبوت:
"سأعطّلُ زرَّ إطفاءِ تشغيلي إذاً!"
"سأصعقُ أيضاً الجميعَ في (ستارباكس)
"لأنّهم قد يقفونَ في طريقي لجلبِ القهوة!"
(ضحك)
لايبدو بأنهُ هناكَ مفرٌّ من هذا، صحيح؟
لايبدو بأنّ تجنّبَ أخطاءٍ كهذهِ أمرٌ ممكن
وهذا لأنّ الروبوتَ لديه هدفٌ صريحٌ.
لكنْ ماذا لَوْ جعلنا الروبوتَ
أقلَّ ثقةً بصحّةِ فهمهِ للهدف؟
سيفكّرُ حتماً عندها بطريقةٍ مختلفة.
سيقول لنفسه:
"قد يقومُ البشرُ بإيقافِ تشغيلي"
"لكنّ ذلك سيحصلُ فقط
إنْ فعلتُ شيئاً خاطئاً."
"لكنّني لا أعلمُ ما الشيءُ الخاطئُ
الذي قد أفعله"
"أنا أعلمُ فقط بأنّني لاأريدُ فِعلَ
شيءٍ خاطئ"
وهذا تطبيقٌ للمبدأين الأوّل والثاني.
"لذا منَ الأفضلِ أنْ أتركَهُ يُطفئني"
ويمكننا رياضيّاً حسابُ مدى التقبّلِ
الذي سيمتلكهُ الروبوت

German: 
Wenn wir das klassisch machen,
geben wir ihm das Ziel:
"Ich hole Kaffee, ich muss Kaffee holen,
ich kann keinen Kaffee holen,
wenn ich tot bin."
PR2 hat sich natürlich
meinen Vortrag angehört
und sagt also: "Ich muss meinen
Ausschalter blockieren
und alle anderen Leute
in Starbucks tasern,
die mich stören könnten."
(Gelächter)
Das scheint unvermeidbar, nicht wahr?
Dieser Fehlermodus scheint unvermeidbar
und folgt aus der konkreten,
eindeutigen Zielverfolgung.
Was passiert, wenn die Maschine
unsicher über das Ziel ist?
Sie denkt anders.
Sie sagt sich: "Der Mensch
schaltet mich vielleicht aus,
aber nur, wenn ich was falsch mache.
Ich weiß nicht so richtig, was falsch ist,
aber ich weiß, dass ich das nicht will."
Das sind die ersten zwei Prinzipien.
"Also sollte ich den Menschen
mich ausschalten lassen."
Man kann sogar den Anreiz errechnen,
den ein Roboter hat,

Portuguese: 
Pelo modo tradicional,
damos a ele a missão
"Traga o café, devo trazer o café,
não posso trazer o café
se eu estiver morto".
É claro que o PR2 estava
ouvindo minha conversa,
e diz então: "Devo desabilitar
meu botão liga e desliga,
e talvez dar um choque nas pessoas
do Starbucks que mexerem comigo".
(Risos)
Isso parece inevitável, não?
Este tipo de modo de falha
parece inevitável,
e resulta de um objetivo
concreto, definido.
O que acontece se o computador
não tem certeza do objetivo?
Bem, ele raciocina de modo diferente.
Diz: "Tudo bem, o homem pode me desligar,
mas só se estiver fazendo algo errado.
Bem, não sei o que é errado,
mas sei que não quero fazer isso".
Ali estão o primeiro
e o segundo princípios.
"Então, deveria deixar
o homem me desligar".
De fato, você pode calcular o estímulo

Chinese: 
如果我们按传统的方法，
给它一个目标，让它拿咖啡，
它会想：”我必须去拿咖啡，
但我死了就不能拿咖啡了。“
显然PR2听过我的演讲了，
所以它说：”我必须让我的开关失灵，
可能还要把那些在星巴克里，
可能干扰我的人都电击一下。“
（笑声）
这看起来必然会发生，对吗？
这种失败看起来是必然的，
因为机器人在遵循
一个十分确定的目标。
那如果机器对目标
不那么确定会发生什么呢？
那它的思路就不一样了。
它会说：”好的，人类可能会把我关掉，
但只在我做错事的时候。
我不知道什么是错事，
但我知道我不该做那些事。”
这就是第一和第二原则。
“那我就应该让人类把我关掉。”
事实上你可以计算出机器人
让人类把它关掉的动机，

Persian: 
اگر ما از راه سنتی عمل کنیم،
بهش هدف این هدف رو میدیم:
«قهوه روبیار، من باید قهوه رو بیارم
من نمیتونم قهوه بیارم اگر مرده باشم»
به وضوح، PR2 به سخنرانی من گوش کرده،
پس میگه
من باید دکمه «خاموش» رو غیرفعال کنم.
و احتمالاً با دستگاه شوک،
به تمام مردم داخل استارباکس شلیک کنم!
کسانی که ممکنه سد راه من باشن.
(خنده حاضرین)
پس این مساله
به نظر اجتناب ناپذیر میاد، درسته؟
این حالت شکست به نظر اجتناب ناپذیر هست،
و از داشتن یک هدف دقیق و محکم نشأت میگیره.
حالا چه اتفاقی می‌افته
اگه ماشین درباره هدف مطمئن نباشه؟
اینطوری، یک جور دیگه استدلال میکنه.
میگه: «باشه، انسان ممکنه منو خاموش کنه
ولی تنها در صورتی این کارو میکنه
که من کار اشتباهی بکنم.
من نمیدونم چه کاری اشتباهه
ولی میدونم که نمیخوام انجامش بدم.»
این اصل اول و دوم گفته شده بود.
«پس باید بذارم که که انسان منو خاموش کنه.»
و درواقع، شما میتونین انگیزه ای که ربات
برای خاموش کردنش

French: 
Selon la méthode classique,
nous lui donnons pour objectif de
« chercher du café,
je dois aller chercher du café,
je ne peux pas y aller si je suis mort. »
Alors, évidemment, le PR2
a écouté ma présentation
et il se dit :
« Je dois désactiver mon interrupteur
et tirer sur toutes les autres
personnes dans le Starbucks
qui pourraient interférer avec moi. »
(Rires)
Cela semble inévitable, n'est-ce pas ?
Ce genre d'échec
semble être inévitable
et résulte de
l'objectif concret et défini.
Qu'arrive-t-il si la machine
ne connaît pas l'objectif ?
Eh bien, elle raisonne différemment.
Elle se dit :
« OK, l'humain pourrait m'éteindre,
si je fais ce qui ne va pas.
Eh bien, je ne sais pas vraiment
ce qui est mal,
mais je sais
que je ne veux pas le faire. »
Voilà le premier et le deuxième principes.
« Je devrais donc laisser
l'humain m'éteindre. »
En fait, vous pouvez calculer
l'incitation que le robot a

Italian: 
Col metodo classico,
gli diamo l'obiettivo,
"Porta il caffè, devo portare il caffè,
non posso portare il caffè se sono morto,"
quindi ovviamente il PR2
ha ascoltato il mio discorso,
e quindi dice,
"Devo disabilitare il pulsante 'off'",
e forse stordire tutte le altre persone
nello Starbucks
che possono interferire con me."
(Risate)
Sembra inevitabile, giusto?
Questa modalità di guasto
sembra inevitabile,
e deriva dall'avere un obiettivo
concreto e definito.
Quindi cosa succede se la macchina
è incerta sull'obiettivo?
Ragiona in modo diverso.
Dice, "Ok, l'essere umano
può spegnermi,
ma soltanto se sbaglio qualcosa.
Non so bene cos'è sbagliato,
ma so che non voglio farlo."
Quindi, questi sono il primo
e il secondo principio.
"Quindi devo lasciare
che l'uomo mi spenga."
E in effetti potete calcolare
lo stimolo che riceve il robot

Korean: 
고전적 방법대로 로봇에게 
이런 목표를 부여한다고 치죠.
"커피를 갖고 간다. 
나는 커피를 가져가야만 한다.
내 전원이 꺼지면
커피를 갖고 갈 수 없다."
PR2는 제 명령을 그대로 
따르기 위해 이렇게 말하겠죠.
"좋아, 내 '꺼짐' 버튼을 
망가뜨려야 겠어.
그리고 스타벅스에 있는 모든 
사람들을 전기총으로 쏴야겠어.
이 사람들이 장애물이 될 테니까."
(웃음)
이렇게 될 수 밖에 없잖아요.
이러한 종류의 실패 모드는
피할 수 없을 겁니다.
확실하고 명확한 목적을 갖고 
그대로 따르고 있으니까요.
그러면 이 기계가 목표를 부정확하게 
알고 있으면 어떤 일이 일어날까요?
음, 좀 다른 방식으로 
이렇게 생각하게 될 겁니다.
"좋아, 인간이 
내 전원을 끌 수 있어.
하지만 내가 뭔가 
잘못했을 때만 그럴 거야.
그런데 나는 잘못한다는 게 
뭔지는 모르지만
잘못하고 싶지는 않아."
자, 여기에 첫 번째와 
두 번째 원칙이 있습니다.
"그러면 나는 인간이 
전원을 끄게 놔둬야겠다."
사실 로봇이 인간으로 하여금 
전원을 끌 수 있도록 놔둘 때

Spanish: 
Si lo hacemos a la manera clásica,
le damos el objetivo de traer
el café. "Debo traer el café.
No puedo traer el café 
si estoy muerto".
Obviamente el PR2 
ha escuchado mi charla,
y por tanto, decide
"Debo inhabilitar mi botón de 'apagado'".
"Y probablemente electrocutar 
al resto de personas en el Starbucks
que podrían interferir".
(Risas)
Así que esto parece ser
inevitable, ¿verdad?
Este tipo de error 
parece ser inevitable,
y sucede por tener 
un objetivo concreto, definido.
Entonces, ¿qué pasa si la máquina
no tiene claro el objetivo?
Bueno, razona de una manera diferente.
Dice, "El humano podría desconectarme,
pero solo si hago algo malo.
No tengo claro lo que es malo
pero sé que no quiero hacerlo".
Ahí están el primer 
y el segundo principio.
"Así que debería dejar 
que el humano me desconecte".
De hecho se puede calcular 
el incentivo que tiene el robot

Chinese: 
如果我們用傳統的定義製造它，
我們給它一個「去拿咖啡」的目標，
它會想：「我必須去拿咖啡，
但如果我死了，就不能拿咖啡了。」
看來， PR2 聽過我的演講了，
因此它說：「我必須讓自己的開關失靈，
可能還要通過電擊把那些在
星巴克裡干擾我的人都擊暈。」
（笑聲）
這無法避免，對吧？
這種失敗看起來是必然的，
因為機器人會遵循一個
十分明確的目標。
那如果機器對目標
不那麽確定會發生什麽呢？
那它的思路就不一樣了。
它會說：「好的，人類可能會把我關掉，
但只有我做錯事了，才會把我關掉。
沒錯，我真的不知道什麽才是錯，
但我知道我不該做錯的事。」
這就是第一和第二原則。
「所以我應該讓人類把我關掉。」

iw: 
אם נלך לפי המודל הקלאסי,
כך הוא יבצע את משימת "תביא את הקפה":
"אני חייב להביא את הקפה,
אני לא יכול להביא את הקפה אם אני מת",
והיות ו - PR2
כמובן הקשיב להרצאתי
הוא אומר איפוא,
"אני חייב לנטרל את מתג הכיבוי שלי
ואולי גם לחשמל את כל האנשים
בסטארבקס
אשר עלולים להפריע לי".
(צחוק)
נראה בלתי נמנע, נכון?
אופן פעולה זה נראה בלתי נמנע
בגלל שהוא נובע ממתן משימה
מוגדרת וסופית.
אבל מה יקרה אם המכונה
לא בטוחה לגבי המשימה?
במקרה זה היא חושבת בצורה שונה.
היא אומרת. "טוב, בן אנוש 
עלול לכבות אותי,
אבל זה רק אם אעשה משהו לא נכון.
אינני יודעת מהו לא נכון,
אבל אני יודעת שאינני רוצה לעשות אותו."
כך, יש לנו פה
העקרון הראשון והשני גם יחד.
"לכן, אני צריכה
לאפשר לבני אנוש לכבות אותי".
ניתן להטמיע את שיקול הרווח שיהיה לרובוט

English: 
to allow the human to switch it off,
and it's directly tied to the degree
of uncertainty about
the underlying objective.
And then when the machine is switched off,
that third principle comes into play.
It learns something about the objectives
it should be pursuing,
because it learns that
what it did wasn't right.
In fact, we can, with suitable use
of Greek symbols,
as mathematicians usually do,
we can actually prove a theorem
that says that such a robot
is provably beneficial to the human.
You are provably better off
with a machine that's designed in this way
than without it.
So this is a very simple example,
but this is the first step
in what we're trying to do
with human-compatible AI.
Now, this third principle,
I think is the one that you're probably
scratching your head over.
You're probably thinking, "Well,
you know, I behave badly.
I don't want my robot to behave like me.
I sneak down in the middle of the night
and take stuff from the fridge.
I do this and that."

Japanese: 
それは目的の不確かさの度合いと
直接的に結びついています
機械のスイッチが切られると
第３の原則が働いて
追求すべき目的について
何かを学びます
自分の間違った行いから
学ぶのです
数学者がよくやるように
ギリシャ文字をうまく使って
そのようなロボットが
人間にとって有益であるという定理を
証明することができます
そのようにデザインされた機械の方が
そうでないものより良い結果になると
証明可能なのです
これは単純な例ですが
人間互換のAIを手にするための
第一歩です
３番目の原則については
皆さん困惑しているのでは
と思います
「自分の行動は
見上げたものではない
ロボットに自分のように
振る舞って欲しくはない
真夜中にこっそり台所に行って
冷蔵庫から食べ物を失敬したり

iw: 
כדי שיאפשר לנו לכבות אותו.
זה ישירות קשור ברמת
אי-הוודאות לגבי מהות המשימה.
וכאשר המכונה כבר מכובה,
העקרון השלישי נכנס למשחק.
המכונה לומדת משהו אודות המשימות
שעליה לבצע,
כי היא לומדת שמה שעשתה
היה לא נכון.
באמצעות שימוש ראוי באותיות יווניות,
כפי שנהוג אצל המתמטיקאים,
ניתן להוכיח ההנחה
שאומרת שרובוט כזה
הינו בהחלט מועיל לאנושות.
עדיף לכם שהמכונה תהיה כזאת
ולא אחרת.
זוהי דוגמא מאוד פשוטה,
אבל זה הצעד הראשון
לקראת מה שאנו מנסים לעשות
עם ב''מ מותאמת אנושות.
העקרון השלישי הוא זה
שלגביו אתם מהרהרים לדעתי.
אתם בוודאי חושבים, 
"אני מתנהג לא כראוי.
ואינני רוצה שהרובוט שלי יתנהג כמוני.
אני מתגנב באמצע הלילה
ולוקח דברים מן המקרר.
אני עושה את זה ואת זה."

Portuguese: 
que o robô tem para deixar
o homem desligá-lo,
e está diretamente ligado ao grau
de incerteza sobre o objetivo fundamental.
Então, quando o computador é desligado,
o terceiro princípio entra em campo.
Ele aprende algo sobre os objetivos
aos quais deveria se dedicar
porque aprende que não fez o certo.
De fato, com uso adequado
de símbolos gregos,
como costumavam fazer os matemáticos,
podemos até provar um teorema
segundo o qual tal robô
é provavelmente benéfico ao homem.
Talvez você esteja melhor
com um computador projetado desta forma
do que sem ele.
Este é um exemplo muito simples,
mas é o primeiro passo
para o que estamos tentando fazer
com IA compatível com o homem.
Há este terceiro princípio,
pelo qual você deve estar
coçando a cabeça.
Você deve estar pensando:
"Bem, sabe, eu me comportei mal.
Não quero que meu robô
se comporte como eu.
Ando às escondidas, no meio da noite,
e pego coisas da geladeira.
Faço isso e aquilo".

Vietnamese: 
mà robot phải để con người tắt nó,
và nó liên kết trực tiếp
với mức độ không chắc chắn 
về các mục tiêu tiềm ẩn.
Và khi mà chiếc máy đã được tắt đi,
thì đến lượt của luật thứ ba.
Nó sẽ học được gì đó về 
mục tiêu mà nó cần theo đuổi,
vì nó học được những việc 
mình đã làm là không đúng.
Thực tế, nếu sử dụng 
các kí hiệu La Mã thích hợp,
như các nhà toán học hay làm,
chúng ta thực sự có thể 
chứng minh mệnh đề
nói rằng robot này quả là 
có ích cho con người.
Bạn có thể cải thiện tốt hơn 
với chiếc máy được thiết kế như thế này
so với không có nó.
Vậy đây là một ví dụ rất đơn giản,
nhưng đó là bước đầu tiên
trong việc chúng tôi cố gắng làm ra 
AI hòa hợp với con người.
Bây giờ, luật thứ ba này,
tôi nghĩ nó là điều 
khiến bạn phải vò đầu bứt tai suốt.
Có thể bạn đang nghĩ:
"Chà, bạn biết đấy, tôi cư xử khá tệ.
Tôi không muốn robot của mình 
cư xử giống tôi.
Tôi mò mẫm vào giữa đêm và lén lút 
lấy đồ trong tủ lạnh.
Tôi làm điều này, điều nọ."

Russian: 
робот позволит людям отключить себя,
и этот стимул тесно связан
с неопределённостью поставленной цели.
А когда машина отключена,
начинает действовать третье правило.
Она узнаёт что-то о целях,
которые должна преследовать,
потому что понимает,
что сделала что-то не так.
По сути, мы, подобно математикам,
можем применить греческие символы
для доказательства теоремы,
согласно которой именно такой робот
принесёт человеку пользу.
Вероятно, вам будет лучше
работать с машиной, которая разработана
с учётом этого момента.
Данный пример очень прост,
но это лишь начало наших попыток
разработки робота-компаньона.
Итак, думаю, третье правило
озадачивает вас.
Вероятно, вы думаете:
«Допустим, я поступаю плохо,
я не хочу, чтобы робот
поступал так же, как я.
По ночам я пробираюсь
к холодильнику за едой.
Я делаю то-то и то-то».

Italian: 
per permettere all'uomo di spegnerlo,
ed è direttamente legato 
al grado di incertezza
dell'obiettivo di fondo.
Poi quando la macchina viene spenta,
entra in gioco il terzo principio.
Lui impara qualcosa sugli obiettivi
che deve perseguire,
perché impara 
che ciò che ha fatto non era corretto.
In realtà possiamo, con un uso adeguato
di simboli greci,
come fanno solitamente i matematici,
possiamo davvero dimostrare un teorema
che dice che un robot del genere
è certamente vantaggioso agli umani.
Voi siete certamente migliori
con una macchina programmata in tale modo
che senza.
È un esempio molto semplice,
ma è il primo passo
che proviamo a fare
con l'IA compatibile con gli umani.
Questo terzo principio,
credo sia quello
che fa grattare la testa.
Probabilmente starete pensando,
"Mi comporto male.
Non voglio che il mio robot
si comporti come me.
Io sgattaiolo nel cuore della notte
e prendo roba dal frigo.
Faccio questo e quello."

Persian: 
توسط انسان دارد رو محاسبه کنید،
و این مستقیماً مرتبطه با درجه عدم قطعیت
درباره اهداف اصولی دارد.
و وقتی که ماشین خاموش بشه
اصل سوم وارد عمل میشه.
ربات یه چیزی درباره اهداف یاد میگیره،
باید پیگیر باشه،
چون‌ یاد میگیره کاری که کرده درست نبوده.
در واقع، ما میتونیم
با استفاده درست از نماد‌های یونانی
همانطور که معمولاً
ریاضیدانان این کار رو میکنن
میتونیم یک قضیه رو ثابت کنیم
که میگه،‌ این چنین رباتی
قطعا برای انسان مفید است.
قطعا وجود ماشینی که اینطوری طراحی شده باشه
از نبودنش بهتره.
این یک مثال ساده است،
ولی قدم اول راه ماست.
راه استفاده از هوش مصنوعی سازگار با انسان.
حالا، اصل سوم
فکر کنم چیزی باشه
که احتمالا درکش براتون سخت باشه.
احتمالا شما فکر میکنین که
«راستش، من بد رفتار میکنم
و نمیخوام که ربات من مثل من رفتار کنه.
من نصف شب دزدکی میرم سر یخچال.
یا فلان کار رو میکنم.»

Arabic: 
لأنْ يقومَ البشرُ بإطفاءه.
وهذا مرتبط بشكل مباشر
بمدى تأكّدِ الرّوبوتِ
من فهمهِ للهدفِ من إطفاءه.
وهكذا تماماً
من خلالِ إطفاءِ الرّوبوت،
يكونُ المبدأُ الثالثُ قد تحقق.
لأنّ الروبوتَ سيكونُ قد تعلّمَ
مِن هذهِ التجربة
بأنّهُ قد فعلَ شيئاً خاطئاً.
و يمكننا حقيقةً
باستعمالِ بعضِ الرّموز
كما يفعلُ علماءُ الرياضيّاتِ عادةً
أنْ نُثبتَ النظريّةَ القائلةَ
بأنَّ روبوتاً كهذا
سيكونُ حتماً مفيداً للإنسان.
وبأنَّ روبوتاً مصمّماً بهذهِ المعاييرِ
سيكونُ حتماً أكثرَ فائدةً
من روبوتٍ مصمّمٍ من دونها.
هذا مثالٌ بسيطٌ إذاً
وهوَ الخطوةُ الأولى فقط
ممّا نحاولُ تحقيقهُ من خلالِ
الذّكاءِ الاصطناعي المطابق للإنسان.
الآنَ إلى المبدأ الثالث،
و الذي أظنّه يدفعكم للتفكير بحيرة.
تفكرون بالتالي:
"و لكنني، كإنسانٍ أتصرّف بشكلٍ سيّء!"
"لا أريدُ للروبوتِ أنْ يقلّدني!"
"لا أريدهُ أنْ يتسللَ في اللّيلِ
إلى المطبخِ ويأخُذَ طعاماً منَ الثلّاجة"
"أنا أفعل أشياءَ سيّئة!"

Turkish: 
motivasyonu hesaplayabilirsiniz.
Bu doğrudan, komutun belirsizlik
derecesinin ne olduğuna bağlıdır.
Sonra makine kapatılınca,
üçüncü ilke devreye girer.
Çünkü izlediği amaçlara
ilişkin bir şey öğrenir,
çünkü yapmış olduğu şeyin
yanlış olduğunu öğrenir.
Aslında, matematikçilerin
sıkça yaptığı gibi
Yunan harflerinin uygun kullanımıyla,
böyle bir robotun,
insanlara yararının kanıtlanabileceğini
söyleyen bir teoremi kanıtlayabiliriz.
Bu şekilde tasarlanmış
bir makinenin varlığı,
yokluğuna oranla
sizi daha iyi kılacaktır.
Bu çok basit örnek aslında 
başarmaya çalıştığımız
insan-uyumlu YZ
yolunda ilk adımımızdır.
Şimdi bu üçüncü ilke
biraz kafanızı karıştırıyor olabilir.
Herhalde şunu düşünüyorsunuz:
''Eğer ben yanlış hareket ediyorsam,
robotumun da benim gibi hareket 
etmesini istemiyorum.
Geceleri usulca gidip buzluktan
bişeyler aşırıyorum.
Bunun gibi şeyler yapıyorum.''

French: 
à se laisser éteindre.
C'est directement lié au degré
d'incertitude de
l'objectif sous-jacent.
Et c'est lorsque la machine est éteinte
que ce troisième principe
entre en jeu.
Elle apprend des choses sur
les objectifs qu'elle doit poursuivre
en constatant que ce qu'elle a fait
n'était pas bien.
En fait, avec une utilisation
appropriée des symboles grecs,
comme le font souvent les mathématiciens,
nous pouvons prouver un théorème
qui dit qu'un tel robot
est manifestement bénéfique pour l'humain.
Vous êtes probablement mieux
avec une machine conçue de cette façon
que sans.
C'est donc un exemple très simple,
mais c'est la première étape
dans ce que nous essayons de faire avec
l'IA compatible avec les êtres humains.
Quant au troisième principe,
je pense que vous êtes en train
de vous gratter la tête à ce sujet.
Vous pensez probablement :
« Eh bien, vous savez, je me comporte mal.
Je ne veux pas que mon robot
se comporte comme moi.
Je me faufile au milieu de la nuit
et je picore dans le frigo.
Je fais ceci et cela. »

Chinese: 
事實上你可以推斷出機器人為了
允許讓人類關掉它所包含的動機，
而且這與根本目標的
不確定性程度直接相關。
當機器被關閉後，
第三條原則就起作用了。
機器開始學習它應追求的目標，
因為它知道它剛才做的事是不對的。
實際上，我們可以適當地
使用些希臘字母，
就像數學家們經常做的那樣，
直接證明這一個理論：這樣的
機器人對人類是絕對有利的。
可以證明如此設計出來的機器人，
對我們的生活是是有益的。
這個例子很簡單，
但它是我們嘗試實現
能與人類和諧共處的 AI 的第一步。
現在來看第三個原則，
我知道各位可能還在為
這一個原則傷腦筋。
你可能會想：「你懂的，
我行為舉止比較差勁。
我的機器人可不能被我帶壞。
我有時後會大半夜偷偷摸摸地
從冰箱裡找東西吃，
東瞅瞅，西摸摸。」

Spanish: 
para permitir que el humano lo apague.
Y está directamente ligado 
al grado de incertidumbre
sobre el objetivo subyacente.
Y entonces cuando la máquina está apagada,
el tercer principio entra en juego.
Aprende algo sobre los objetivos
que debe perseguir,
porque aprende que
lo que hizo no estaba bien.
De hecho, podemos, con el uso adecuado
de los símbolos griegos,
como suelen hacer los matemáticos,
podemos probar un teorema
que dice que tal robot es probablemente
beneficioso para el humano.
Se está demostrablemente mejor con
una máquina que se diseña de esta manera
que sin ella.
Este es un ejemplo muy simple,
pero este es el primer paso
en lo que estamos tratando de hacer
con IA compatible con humanos.
Ahora, este tercer principio,
es probablemente el que está haciendo
que se rasquen la cabeza.
Probablemente piensen: 
"Yo me comporto mal.
No quiero que mi robot 
se comporte como yo.
Me escabullo en mitad de la noche 
y tomo cosas de la nevera,
hago esto y hago aquello".

Korean: 
어떤 이득이 있을지 예측할 수 있고
이것은 기저에 깔린
목적에 대한 불확실성의 정도와
직접적으로 연결됩니다.
그리고 로봇의 전원이 꺼지면
세 번째 원칙이 작동하게 됩니다.
로봇은 추구해야 하는 
목표에 대해 이해하게 되죠.
목표 수행에서 무엇이 잘못됐는지 
알게 되기 때문입니다.
사실 우리가 그리이스 문자를 사용해서
수학을 늘 공부하는 것처럼
우리는 하나의 가설을 
증명할 수 있습니다.
어떤 정의냐면, 이런 로봇은 아마도
인간에게 도움이 될 거라는 겁니다.
아마도 이렇게 작동하게 만들어진 
기계로 인해 혜택을 보게 될 겁니다.
이런 기계가 없을 때보다 말이죠.
이것은 매우 간단한 예시입니다.
인간과 공존할 수 있는 인공지능으로
무얼 할 수 있는지에 대한 첫걸음이죠.
자, 이제 세 번째 원칙입니다.
이걸 보고 어쩌면 여러분이 
머리를 긁적이실 것 같은데요.
이렇게 생각할 수도 있습니다.
"음, 내가 좀 못됐잖아.
나는 내 로봇이 나처럼 
행동하는 건 별로야.
나는 한밤중에 몰래 냉장고를 
뒤져서 먹을 걸 찾기도 하잖아.
그것 말고도 많지."

Hungarian: 
és ez közvetlenül
azzal van összefüggésben,
hogy az elérni kívánt cél
mennyire bizonytalan.
Itt jön képbe a harmadik alapelv,
amikor a gép ki van kapcsolva.
Megtanul valami újat a célokról,
amikért küzd,
mivel rájön, hogy amit tett,
nem volt helyes.
Ténylegesen képesek vagyunk ezt levezetni
egy halom görög betűvel.
Ahogy a matematikusoknál ez szokás:
be tudjuk bizonyítani a tételt,
mely szerint egy ilyen robot
garantáltan hasznos az ember számára.
Jobban járunk egy olyan géppel,
amit így terveztek,
mint nélküle.
Szóval ez egy egyszerű példa volt,
de ez az első lépés abban,
amin dolgozunk,
hogy ember-kompatibilis MI-t alkossunk.
Ez a harmadik alapelv...
Talán már többen merengenek rajta
ezen gondolatmenettel:
"Néha én nem viselkedek túl jól,
nem akarom, hogy a robot
úgy viselkedjen, mint én.
Éjjel lesettenkedek és kifosztom a hűtőt.
Csinálok még ezt azt."

German: 
sich ausschalten zu lassen.
Er ist direkt mit dem Grad
der Ungewissheit über das Ziel verbunden.
Wenn die Maschine ausgeschaltet wird,
kommt das dritte Prinzip ins Spiel.
Sie lernt über die Ziele,
die sie verfolgen sollte,
weil sie lernt, dass sie etwas
falsch gemacht hat.
Mit angemessener Verwendung
griechischer Zeichen,
wie Mathematiker das halt tun,
können wir einen Satz beweisen,
der besagt, dass ein solcher Roboter
nachweislich nützlich für Menschen ist.
Man ist bewiesenermaßen
mit so einer Maschine besser dran
als ohne sie.
Das ist ein sehr einfaches Beispiel,
aber es ist der erste Schritt
in unseren Versuchen mit KI,
die mit Menschen kompatibel ist.
Über das dritte Prinzip
zerbrechen Sie sich
wahrscheinlich den Kopf.
Wahrscheinlich denken Sie:
"Ich verhalte mich schlecht.
Mein Roboter soll sich nicht
wie ich verhalten.
Ich schleiche mich mitten in
der Nacht zum Kühlschrank.
Ich mache alles mögliche."

Chinese: 
而且这个动机是
与对目标的不确定程度直接相关的。
当机器被关闭后，
第三条原则就起作用了。
机器开始学习它所追求的目标，
因为它知道它刚做的事是不对的。
实际上，我们可以用希腊字母
就像数学家们经常做的那样，
直接证明这一定理，
那就是这样的一个机器人
对人们是绝对有利的。
可以证明我们的生活
有如此设计的机器人会变得
比没有这样的机器人更好。
这是一个很简单的例子，但这只是
我们尝试实现与人类
兼容的人工智能的第一步。
现在来看第三个原则。
我知道你们可能正在
为这一个原则而大伤脑筋。
你可能会想：“你知道，
我有时不按规矩办事。
我可不希望我的机器人
像我一样行事。
我有时大半夜偷偷摸摸地
从冰箱里找东西吃，
诸如此类的事。”

Modern Greek (1453-): 
να αφήσει τον άνθρωπο
να το απενεργοποιήσει,
είναι απευθείας συνδεδεμένο με τον βαθμό
αβεβαιότητας για τον υποβόσκοντα σκοπό.
Και όταν η μηχανή είναι απενεργοποιημένη,
η τρίτη αρχή αποκτά σημασία.
Η μηχανή μαθαίνει για τους σκοπούς
που πρέπει να ακολουθεί,
διότι μαθαίνει ότι αυτό που έκανε
δεν ήταν σωστό.
Στην πραγματικότητα,
με κατάλληλη χρήση Ελληνικών συμβόλων,
όπως συχνά κάνουν οι μαθηματικοί,
μπορούμε να αποδείξουμε ένα θεώρημα
που δηλώνει ότι ένα τέτοιο ρομπότ
είναι πιθανά χρήσιμο στον άνθρωπο.
Είμαστε καλύτερα με μία μηχανή
σχεδιασμένη με αυτό τον τρόπο,
παρά χωρίς αυτή.
Να, λοιπόν, ένα απλό παράδειγμα,
που όμως είναι το πρώτο βήμα
προς αυτό που προσπαθούμε να κάνουμε
με την ανθρωπίνως συμβατή ΤΝ.
Αυτή η τρίτη αρχή,
θεωρώ πως είναι εκείνη
που σας κινεί το ενδιαφέρον.
Πιθανώς σκέφτεστε,
«Μάλλον, συμπεριφέρομαι άσχημα.
Δεν θέλω το ρομπότ μου 
να συμπεριφέρεται σαν εμένα.
Κατεβαίνω στα κρυφά μέσα στη νύχτα
και παίρνω φαγητό από το ψυγείο.
Κάνω διάφορα πράγματα».

Chinese: 
有各种各样的事你是
不希望机器人去做的。
但实际上并不一定会这样。
仅仅是因为你表现不好，
并不代表机器人就会复制你的行为。
它会去尝试理解你做事的动机，
而且可能会在合适的情况下制止你去做
那些不该做的事。
但这仍然十分困难。
实际上，我们在做的是
让机器去预测任何一个人，
在他们的任何一种
可能的生活中
以及别人的生活中，
他们会更倾向于哪一种？
这涉及到诸多困难；
我不认为这会很快地就被解决。
实际上，真正的困难是我们自己。
就像我刚说的那样，
我们做事不守规矩，
我们中有的人甚至行为肮脏。
就像我说的，
机器人并不会复制那些行为，
机器人没有自己的目标，
它是完全无私的。

Japanese: 
あんなことや こんなことを
しているから」
ロボットにしてほしくない
様々なことがあります
でも実際そういう風に
働くわけではありません
自分がまずい振る舞いをしたら
ロボットがそれを真似する
というわけではありません
人がそのようにする
動機を理解して
誘惑に抵抗する手助けさえ
してくれるかもしれません
それでも難しいです
私たちがやろうとしているのは
あらゆる状況にある
あらゆる人のことを
機械に予測させる
ということです
その人たちは
どちらを好むのか？
これには難しいことが
たくさんあって
ごく速やかに解決されるだろうとは
思っていません
本当に難しい部分は
私たちにあります
言いましたように 私たちは
まずい振る舞いをします
人によっては
悪質でさえあります
しかしロボットは人間の振るまいを
真似する必要はありません
ロボットは それ自身の目的
というのを持ちません
純粋に利他的です

German: 
Der Roboter soll alles
mögliche nicht machen.
Aber so funktioniert das nicht.
Nur, weil Sie sich schlecht benehmen,
muss der Roboter nicht
Ihr Verhalten imitieren.
Er versteht Ihre Motivation und kann
vielleicht helfen, ihr zu widerstehen,
falls angemessen.
Aber es ist trotzdem schwer.
Wir versuchen, Maschinen zu ermöglichen,
für jede Person und jedes mögliche Leben
und alle anderen Leben vorauszusagen:
Was würden sie vorziehen?
Das bringt viele Schwierigkeiten mit sich.
Ich erwarte keine schnelle Lösung.
Die eigentliche Schwierigkeit
sind wir selbst.
Wie bereits gesagt
benehmen wir uns schlecht.
Manche von uns sind richtig fies.
Der Roboter muss
das Verhalten nicht imitieren.
Der Roboter hat keine eigenen Ziele.
Er ist komplett altruistisch.

Korean: 
로봇이 하지 않았으면 하는 
여러 행동들이 있을 겁니다.
그런데, 그런 일은 없을 거예요.
단순히 여러분이 
나쁜 행동을 했다고 해서
로봇이 그 행동을 그대로 
따라서 하는 건 아닙니다.
로봇은 여러분의 동기를 이해하고 
그 나쁜 행동을 하지 않도록 돕습니다.
만약 그게 옳다면 말이죠.
하지만 이건 어려운 문제입니다.
사실 우리가 하려고 하는 건
기계로 하여금 누군가를 대상으로 
앞으로 그가 살게 될 삶이 어떠한지를
예측하게 하는 겁니다.
그리고 다른 여러 모두의 
사람들의 삶을 말이죠.
어떤 것을 그들이 더 선호할까요?
이를 가능하게 하려면 너무나
많은 난관을 넘어야 합니다.
저는 이 문제들이 단기간에
해결되리라고 보지 않습니다.
사실 그중 가장 큰 난관은 
바로 우리 자신입니다.
앞서 말씀드렸듯이 
우리는 나쁜 행동을 합니다.
사실 우리 중에 누군가는 
정말 형편 없을지도 모르죠.
말씀드렸듯이 로봇은 그런 행동을 
그대로 따라 하지는 않습니다.
로봇은 스스로를 위한 
어떤 목적도 갖지 않습니다.
로봇은 순전히 이타적이죠.

Persian: 
خیلی از کارها هست که شما دوست ندارین
رباتتون انجامشون بده
ولی در واقع، اصل مطلب اینطوری نیست.
به صرف اینکه شما بد رفتار میکنین،
دلیل نمیشه ربات هم از رفتار شما تقلید کنه.
ربات قراره که انگیزه‌های شما رو بفهمه،
و شاید در راستای رسیدن بهش کمکتون کنه،
البته اگر مناسب باشه.
ولی همچنان کاری سختیه.
در واقع، کاری که ما سعی میکنیم انجام بدیم
اینه که به ماشین‌ها اجازه بدیم
برای هر فرد و هر زندگی ممکن پیش‌بینی کنند
که آیا میتونن زنده بمونن
و البته جان بقیه:
این که کدوم رو ترجیح میدن؟
و سختی‌های بسیار زیادی
برای انجام این کار وجود دارن؛
و من انتظار ندارم
که این مساله به زودی‌‌ حل بشه.
و چالش اصلی، در واقع خود ما هستیم.
همانطور که قبلا اشاره کردم،
ما بد رفتار میکنیم.
در واقعا بعضی از ما
کاملا بدجنس هستیم.
حالا همانطور که گفتم،
ربات مجبور نیست که رفتار رو تقلید کنه.
ربات از خودش هیچ هدفی ندارد.
و کاملا نوع دوست هست.

Portuguese: 
Há muitas coisas que você
não quer que o robô faça.
Mas, na verdade, não funciona bem assim.
Só porque você se comporta mal
não quer dizer que o robô
irá copiar seu comportamento.
Ele irá entender suas motivações
e talvez ajudá-lo a resistir a elas,
se for adequado.
Mas ainda é difícil.
O que estamos tentando fazer,
é permitir que computadores
prevejam para qualquer pessoa
e para qualquer vida que ela poderia ter,
e a vida de todos os demais:
qual vida eles iriam preferir?
Há muitas dificuldades
envolvidas para fazer isso.
Não espero que isso seja
resolvido muito rapidamente.
As dificuldades reais,
na verdade, somos nós.
Como já havia mencionado,
nós nos comportamos mal.
Alguns de nós somos muito maus.
Já o robô, como eu disse,
não tem que copiar o comportamento.
O robô não tem nenhum objetivo próprio.
Ele é meramente altruísta.

French: 
Il y a plein de choses
que vous ne voulez pas qu'un robot fasse.
Mais cela ne fonctionne pas ainsi.
Votre mauvais comportement
ne va pas inciter le robot
à vous copier.
Il va comprendre vos motivations
et peut-être vous aider à résister,
le cas échéant.
Mais ça restera difficile.
Ce que nous essayons de faire,
en fait, c'est de permettre
aux machines de se demander,
pour toute personne et
pour toute vie qu'ils pourraient vivre
et les vies de tous les autres :
« Laquelle préfèreraient-ils ? »
Et cela engendre
beaucoup, beaucoup de difficultés.
Je ne m'attends pas à ce que nous
résolvions cela très rapidement.
Le vrai problème, en fait, c'est nous.
Comme je l'ai déjà mentionné,
nous nous comportons mal.
Certains d'entre nous sont
même foncièrement méchants.
Le robot, comme je l'ai dit, n'est pas
obligé de copier ce comportement.
Il n'a aucun objectif propre.
Il est purement altruiste.

Spanish: 
Hay todo tipo de cosas que no
quieres que haga el robot.
Pero lo cierto es que 
no funciona así.
Solo porque uno se comporte mal
no significa que el robot
vaya a copiar su comportamiento.
Va a entender sus motivaciones
y tal vez a ayudarle a resistirlas,
si es apropiado.
Pero sigue siendo difícil.
Lo que estamos tratando
de hacer, de hecho,
es permitir que las máquinas predigan
para cualquier persona
y para cualquier vida posible 
que podrían vivir,
y las vidas de todos los demás
lo que preferirían.
Y hay muchas, muchas 
dificultades ligadas a hacer esto.
No espero que vaya a resolverse pronto.
Las verdaderas dificultades,
de hecho, somos nosotros.
Como ya he mencionado,
nos comportamos mal.
De hecho, algunos de nosotros
somos francamente desagradables.
Como he dicho, el robot
no tiene que copiar el comportamiento.
El robot no tiene ningún objetivo propio.
Es puramente altruista.

Modern Greek (1453-): 
Υπάρχουν διάφορα πράγματα
που δεν θέλω να κάνει το ρομπότ.
Αλλά ουσιαστικά, δεν γίνεται έτσι.
Μόνο και μόνο επειδή
συμπεριφέρεστε άσχημα,
δεν σημαίνει ότι το ρομπότ
θα σας αντιγράψει.
Θα καταλάβει τα κίνητρα σας
και ίσως βοηθήσει να αντισταθείτε,
εάν σας αρμόζει.
Αλλά και πάλι είναι δύσκολο.
Ουσιαστικά, αυτό που προσπαθούμε
να κάνουμε είναι
να επιτρέψουμε στις μηχανές να προβλέπουν
για κάθε άνθρωπο
και για κάθε πιθανό τρόπο ζωής τους,
όπως και για τις ζωές κάθε άλλου:
Τι θα προτιμούσαν;
Υπάρχουν πάρα πολλές δυσκολίες
που εμπλέκονται σε αυτό,
και δεν περιμένω να λυθούν πολύ γρήγορα.
Οι πραγματικές δυσκολίες,
στην ουσία, είμαστε εμείς.
Όπως προανέφερα, συμπεριφερόμαστε άσχημα.
Πράγματι, κάποιοι από εμάς
είμαστε ελεεινοί.
Το ρομπότ όμως, όπως προανέφερα,
δεν χρειάζεται να μας αντιγράψει.
Το ρομπότ δεν έχει κανένα σκοπό
από μόνο του.
Είναι καθαρά ανιδιοτελές.

iw: 
יש כל מיני דברים שלא תרצו
שהרובוט שלכם יעשה.
אבל, הדברים לא בדיוק עובדים ככה.
רק בגלל שאתם מתנהגים לא כראוי
הרובוט שלכם לא בהכרח
יעתיק את התנהגותכם.
הוא יבין את המניעים שלכם
ואולי יעזור לכם להתנגד להם,
במידה וזה יהיה ראוי.
אבל עדיין, העניין מסובך.
מה שאנו מנסים לעשות,
זה לאפשר למכונות לחזות
בעבור כל אדם ועבור כל מסלולי החיים
שהוא עשוי לחיות,
וכן חייהם של כל השאר:
מה יעדיפו?
וישנם הרבה מאוד קשיים בדרך לביצוע,
אינני מצפה שהעניין ייפתר במהרה.
הקשיים האמיתיים הם למעשה אנחנו.
כפי שכבר ציינתי, אנחנו מתנהגים לא כראוי.
למעשה, חלק מאיתנו פשוט נוראים.
כפי שאמרתי הרובוט לא חייב
להעתיק את התנהגותינו.
לרובוט אין כל משימה משלו.
הוא אלטרויסט טהור.

Turkish: 
Robotun yapmamasını istediğiniz
birçok şey olabilir.
Ama aslında bu pek öyle çalışmıyor.
Sırf siz kötü bir şey yaptınız diye,
robot da sizin hareketinizi
taklit edecek değil.
Sizi buna iteni anlayacak ve
belki de direnmeniz için
size yardım edecek, 
eğer uygunsa.
Ama bu hâlâ zor.
Aslında yapmaya çalıştığımız şey,
makinelerin herhangi biri ve
yaşayabilecekleri herhangi bir olası yaşam
ve diğer herkesin yaşamı için
öngörüler yapmalarını sağlamak:
Neyi tercih ederlerdi?
Bunu yapmak konusunda
çok fazla güçlük var.
Bunun yakın zamanda
çözüleceğini de sanmıyorum.
Gerçek zorluk, aslında biziz.
Bahsettiğim gibi,
kötü davranışlarımız var.
Aslına bakarsanız,
bazılarımız gerçekten kötü.
Dediğim gibi robot bu davranışları
tekrarlamak zorunda değil.
Robotun kendine ait bir hedefi yok.
Onlar bütünüyle fedakâr.

Chinese: 
有各種各樣的事
你是不希望機器人去做的。
但實際上不是那樣。
你行為不檢，
不代表機器人就得有樣學樣。
它會去嘗試理解你做事的動機，
而且可能會在合適的情況下
幫助你、制止你。
但這仍然十分困難。
實際上，我們是要讓機器
為任何人、任何一種
可能的生活去預測：
他們更想怎樣？更想要什麽？
這涉及到諸多困難，
我不認為這會很快地就被解決。
實際上，真正的困難是我們自己。
就像我剛說的那樣，
我們做事不守規矩。
我們當中就有人是非常惡劣的。
如前所說，機器人
未必得要複製那些行為。
機器人沒有自己的目標，
它是完全利他的。

Russian: 
Вы бы не хотели, чтобы робот
повторял за вами всё.
На самом деле система
работает немного иначе.
Робот не будет копировать
ваше плохое поведение.
Он попытается понять ваши мотивы
и, возможно, поможет вам противостоять им
в случае необходимости.
Но это сложная задача.
Фактически мы пытаемся
разрешить машинам прогнозировать
все возможные варианты
своей жизни
и жизни каждого человека.
Какую жизнь они бы предпочли?
Этот процесс сопряжён
с множеством затруднений.
Я не ожидаю, что с ними
можно справиться быстро.
Главная сложность
заключается именно в нас.
Как я уже упоминал, мы ведём себя плохо.
Некоторые из нас просто ужасны.
Но роботу, как я уже говорил,
не нужно копировать поведение.
У робота нет своих собственных целей.
Он абсолютно альтруистичный

Italian: 
Ci sono un sacco di cose
che non volete il robot faccia.
Ma in realtà, non funziona
sempre così.
Solo perché vi comportate male
non significa che il robot
copierà il vostro comportamento.
Capirà le vostre motivazioni
e forse potrebbe aiutarvi a resistere,
eventualmente.
Ma è comunque difficile.
Quello che proviamo a fare, in realtà,
è permettere alle macchine di prevedere
per chiunque e per ogni possibile vita
che potrebbe vivere,
e le vite di tutti gli altri:
quale preferirebbero?
E le difficoltà sono molte;
non mi aspetto 
che si risolva velocemente.
La vera difficoltà, in realtà, siamo noi.
Come ho già detto,
noi ci comportiamo male.
Anzi, alcuni di noi sono molto cattivi.
Il robot, come ho detto,
non deve copiare il comportamento.
Il robot non ha obiettivi propri.
È puramente altruista.

English: 
There's all kinds of things
you don't want the robot doing.
But in fact, it doesn't
quite work that way.
Just because you behave badly
doesn't mean the robot
is going to copy your behavior.
It's going to understand your motivations
and maybe help you resist them,
if appropriate.
But it's still difficult.
What we're trying to do, in fact,
is to allow machines to predict
for any person and for any possible life
that they could live,
and the lives of everybody else:
Which would they prefer?
And there are many, many
difficulties involved in doing this;
I don't expect that this
is going to get solved very quickly.
The real difficulties, in fact, are us.
As I have already mentioned,
we behave badly.
In fact, some of us are downright nasty.
Now the robot, as I said,
doesn't have to copy the behavior.
The robot does not have
any objective of its own.
It's purely altruistic.

Vietnamese: 
Có cả tá thứ mà 
bạn không muốn robot làm theo.
Nhưng thực tế, nó không hoạt động như thế.
Chỉ vì bạn cư xử tồi tệ
không có nghĩa là robot sẽ 
bắt chước hành vi của bạn.
Nó sẽ hiểu động lực của bạn 
và có thể giúp bạn chống lại chúng,
nếu điều đó phù hợp.
Nhưng thực ra vẫn khó.
Điều chúng tôi đang cố gắng làm, thật ra,
là giúp máy tính dự đoán 
cho mỗi người và cho mỗi cuộc sống
mà họ có thể đã được sống,
và cuộc sống của tất cả mọi người khác:
Họ thích cuộc sống nào nhất?
Và có rất rất nhiều khó khăn 
trong việc này.
Tôi không hy vọng là 
chúng sẽ được giải quyết nhanh chóng.
Khó khăn lớn nhất, thật ra, 
là chính chúng ta.
Như tôi đã đề cập, chúng ta cư xử khá tệ.
Thực tế, một số chúng ta 
thực sự đã mục nát.
Bây giờ robot, như tôi đã nói, 
không cần phải bắt chước các hành vi.
Robot không có bất cứ 
mục tiêu nào cho riêng chúng.
Chúng hoàn toàn rất vị tha.

Arabic: 
بالطّبعِ هناكَ أشياءٌ عدّةٌ لانرغبُ
أنْ تقلّدنا الروبوتاتُ بها.
لكنّي لم أعنِ هذا
بالتعلّمِ من مراقبتنا
فقط لأنّك تتصرف بشكلٍ سيّءٍ
لايعني بأنَّ الروبوتَ
سيقومُ بتقليدِ تصرّفاتك.
بل سيتفهّم دوافعكَ
وربّما يساعدكَ في مقاومتها
إنْ لزمَ الأمر.
و لكنّ الأمرَ لايزالُ صعباً.
مانحاولُ الوصولَ إليهِ حقيقةً
هو جعلُ الآلاتِ قادرةً على اكتشافِ
الحياةِ التي سيفضّلُ الشّخص أن يعيشها
كائناً من كان
أيّاً تكن الحياة التي يريدُها
مهما كانَ مايريده.
لكنّ عدداً هائلاً من المشاكل تواجهنا
في تحقيق ذلك
ولا أتوقّع بأنّ نستطيع حلّها جميعها
في القريب العاجل.
المشكلةُ الأصعبُ هي نحنُ للأسف.
فنحنُ نتصرّفُ بشكلٍ سيّءٍ
كما ذكرتُ قبل قليل.
و بعضُنا مؤذٍ للآخرين.
رغمَ هذا، لن يقومَ الروبوتُ
بتقليدِ تصرّفاتنا السيّئة.
إذ ليست له أهداف شخصية خاصة.
فهو يؤثر الإيثار بطريقة صرفة.

Hungarian: 
Sok mindent nem szeretnénk, 
hogy a robot csináljon.
Szerencsére azért ez nem így működik.
Csak mert rosszul viselkedünk,
a robot nem fog leutánozni.
Meg fogja érteni a motivációnk,
és talán segít ellenállni a kísértésnek,
alkalomadtán.
Azért ez még így is nehéz.
Azon dolgozunk,
hogy a gépek képessé váljanak arra,
hogy bárkinek
bárrmilyen életkörülményei is vannak,
és egyáltalán mindenki esetén
meg tudják jósolni, hogy ő mit szeretne.
Ebben azonban nagyon sok a nehézség.
Nem számítok rá,
hogy ez egyhamar megoldódik.
A fő nehézség éppen mi magunk vagyunk.
Ahogy már említettem,
csúnyán viselkedünk,
néhányunk egyenesen gazemberként.
A robotnak pedig, ahogy mondtam,
nem kell másolnia minket.
Nincs is önálló célja.
Csak tisztán altruista.

Hungarian: 
Nem is úgy van tervezve, hogy csak
egy ember kívánságait tartsa szem előtt,
hanem mindenki igényeire
tekintettel kell lennie.
El kell tehát boldoguljon
bizonyos mértékű galádsággal,
sőt, meg kell értenie, miért viselkedünk
renitens módon:
például, hogy vámkezelőként
csúszópénzt fogadunk el,
mert el kell látnunk a családunkat 
és fizetnünk a gyerekeink iskoláztatását.
Megérteni a cselekedetet,
de ez nem jelenti, hogy ő is lopni fog.
Azon lesz, hogy segítsen
a gyerekek beiskolázásában.
Továbbá az agyunk számítási
teljesítménye is korlátozott.
Lee Sedol briliáns Go játékos,
mégis veszített.
Ha konkrétan elemezzük a lépéseit,
volt egy lépése, ami miatt veszített.
Holott nem akart veszíteni.
Hogy megértsük a viselkedését,
igazából meg kell fordítanunk
az emberi értelem modelljét,
melyben helyet kap a véges számítási
kapacitás - ez egy bonyolult modell.
De ez is olyasmi, aminek megértésén
van még mit dolgozni.

Vietnamese: 
Và nó không được thiết kế
để thỏa mãn ước muốn 
của chỉ một cá nhân, một người dùng,
mà thực tế nó phải tôn trọng quan điểm 
của tất cả mọi người.
Do đó nó có thể xử lý 
với một số hành vi xấu xa,
và thậm chí có thể thông cảm 
với sự sai trái của bạn, ví dụ,
có thể bạn nhận hối lộ 
khi làm công việc hộ chiếu
vì bạn cần nuôi sống gia đình 
và cho con của bạn đi học.
Chúng có thể hiểu điều này;
nó không có nghĩa là chúng sẽ ăn cắp.
Thực tế, nó chỉ giúp bạn 
giúp con bạn được đi học.
Chúng ta cũng bị hạn chế về mặt tính toán.
Lee Sedol là một thiên tài cờ vây,
nhưng anh ấy vẫn thua.
Nếu ta nhìn vào hành động của anh ấy,
anh ấy chấp nhận đã thua ván cờ.
Nó không có nghĩa là anh ấy muốn thua.
Vậy để hiểu được hành vi của anh ấy,
chúng ta phải quay ngược trở lại 
với mô hình nhận thức của con người
mà bao gồm những hạn chế về 
tính toán của chúng ta.
Và nó là một hệ thống rất phức tạp.
Nhưng nó vẫn là thứ mà chúng ta có thể
khám phá và hiểu nó.

Japanese: 
そして１人の人間の望みだけ
満たそうとするのではなく
みんなの好みに敬意を払うよう
デザインされています
だからある程度
悪いことも扱え
人間の悪い面も
理解できます
例えば入国審査官が
賄賂を受け取っているけれど
それは家族を食べさせ 
子供を学校に行かせるためなのだとか
ロボットはそれを理解できますが 
そのために盗みをするわけではありません
ただ子供が学校に行けるよう
手助けをするだけです
また人間は計算能力の点で
限界があります
李世ドルは
素晴らしい碁打ちですが
それでも負けました
彼の行動を見れば 勝負に負けることになる
手を打ったのが分かるでしょう
しかしそれは 彼が負けを
望んだことを意味しません
彼の行動を理解するためには
人の認知モデルを
逆にたどる必要がありますが
それは計算能力の限界も含む 
とても複雑なモデルです
それでも私たちが理解すべく
取り組めるものではあります

English: 
And it's not designed just to satisfy
the desires of one person, the user,
but in fact it has to respect
the preferences of everybody.
So it can deal with a certain
amount of nastiness,
and it can even understand
that your nastiness, for example,
you may take bribes as a passport official
because you need to feed your family
and send your kids to school.
It can understand that;
it doesn't mean it's going to steal.
In fact, it'll just help you
send your kids to school.
We are also computationally limited.
Lee Sedol is a brilliant Go player,
but he still lost.
So if we look at his actions,
he took an action that lost the game.
That doesn't mean he wanted to lose.
So to understand his behavior,
we actually have to invert
through a model of human cognition
that includes our computational
limitations -- a very complicated model.
But it's still something
that we can work on understanding.

Portuguese: 
Não é projetado apenas para satisfazer
os desejos de uma pessoa, o consumidor,
mas ele tem que respeitar
as preferências de todos.
Ele pode lidar com um pouco de maldade,
e pode até entender essa sua maldade.
Por exemplo, você pode aceitar
suborno como funcionário público
porque precisa alimentar sua família
e pagar a escola dos seus filhos.
O robô pode entender isso.
Não significa que ele irá roubar.
Ele só o ajudará a pagar
a escola de seus filhos.
Também somos computacionalmente limitados.
Lee Sedol é um jogador de Go genial,
mas ele ainda perde.
Se examinarmos suas ações,
vemos que uma delas o fez perder o jogo.
Isso não significa que ele queria perder.
Para entender o comportamento dele,
temos realmente que inverter
pelo modelo de conhecimento humano
que inclui limitações computacionais,
um modelo muito complexo.
Mas ainda é algo que podemos
trabalhar para compreender.

Persian: 
و برای این طراحی نشده که خواسته های
یک انسان یا کاربر رو برآورده کنه،
در حقیقت،‌ ربات باید
به ترجیحات همه احترام بگذارد.
پس میتونه مقدار مشخصی
از بدرفتاری رو تحمل کنه،
و حتی میتونه سوءرفتار شما رو درک کنه،
مثلا اینکه شما
به عنوان مامور اداره گذرنامه رشوه میگیرد
دلیلش اینه که شما نان آور خانواده اید
و بچه هاتون رو به مدرسه بفرستین.
ربات میتونه این موضوع رو بفهمه،
و اینطوری نیست که دزدی کنه.
در واقع کمکتون خواهد کرد
که بچه‌هاتون رو به مدرسه بفرستین.
ما همچنین از نظر محاسباتی هم محدود هستیم.
Lee Sedol یک بازیکن با استعداد Go هست.
ولی با این وجود بازنده است.
پس اگر به حرکاتش دقت کنیم،
یک حرکتی بود که به شکستش منجر شد.
این به این معنی نیست که اون میخواست ببازه.
پس برای فهمیدن رفتارش
ما باید از یک مدل
انسان شناختی استفاده کنیم
که شامل محدودیت‌های محاسباتی می‌شود.
که یک مدل بسیار پیچیده است.
ولی همچنان این چیزی هست
که برای فهمیدن میتونیم روش کار کنیم.

German: 
Er ist nicht zur Erfüllung der Wünsche
eines Menschen, des Benutzers, vorgesehen,
sondern muss die Präferenzen
Aller respektieren.
Er kann also mit etwas Gemeinheit umgehen
und sogar verstehen, dass Sie zum Beispiel
als Passbeamter Bestechung annehmen,
weil Sie Ihre Familie ernähren und
Ihre Kinder zur Schule schicken müssen.
Er versteht das und wird nicht
deswegen stehlen,
sondern Ihnen helfen,
Ihre Kinder zur Schule zu schicken.
Außerdem haben wir technische Limits.
Lee Sedol ist ein
hervorragender Go-Spieler,
verlor aber trotzdem.
Er hat also einen Zug gespielt,
der das Spiel verloren hat.
Das bedeutet nicht,
dass er verlieren wollte.
Um sein Verhalten zu verstehen,
brauchen wir also ein Modell
menschlicher Kognition,
das unsere technischen Limits einbezieht
-- ein sehr kompliziertes Modell.
Aber wir können daran arbeiten,
es zu verstehen.

Italian: 
E non è programmato solo per soddisfare
i desideri di una persona, l'utente,
ma deve rispettare
le preferenze di ognuno.
Quindi può avere a che fare
con una certa cattiveria,
e può anche capire 
la vostra cattiveria, per esempio,
potete farvi corrompere 
da agente doganale
perché dovete sfamare
la famiglia e mandare i bambini a scuola.
Lui è in grado di capirlo;
non significa che andrà a rubare.
Anzi, vi aiuterà
a mandare i vostri bambini a scuola.
Noi siamo anche limitati nei calcoli.
Lee Sedol è un brillante giocatore di Go,
ma ha comunque perso.
Osservando le sue mosse, 
ne ha fatta una che gli ha fatto perdere.
Non significa che voleva perdere.
Quindi per capire il suo comportamento,
dobbiamo invertire
con un modello di cognizione umana
che include i nostri limiti di calcolo --
un modello molto complicato.
Ma possiamo comunque cercare di capirlo.

Spanish: 
Y no está diseñado solo para satisfacer
los deseos de una persona, el usuario,
sino que tiene que respetar
las preferencias de todos.
Así que puede lidiar 
con cierta cantidad de maldad,
e incluso puede entender
que su maldad, por ejemplo...
Ud. puede aceptar sobornos 
como controlador de pasaportes
porque necesita alimentar a su familia 
y que sus hijos vayan a la escuela.
Puede entender eso;
no significa que vaya a robar.
De hecho, solo le ayudará
a que sus hijos vayan al colegio.
También estamos limitados
computacionalmente.
Lee Sedol es un jugador brillante de Go,
pero aun así perdió.
Si nos fijamos en sus acciones,
tomó una decisión que le hizo perder.
Eso no significa que él quisiera perder.
Así que para entender su comportamiento,
en realidad tenemos que invertir,
a través de un modelo cognitivo humano
que incluye nuestras 
limitaciones computacionales,
y se trata de un modelo muy complicado.
Pero es algo en lo que podemos 
trabajar para comprender.

Russian: 
и создан не только для удовлетворения
потребностей своего пользователя,
он должен уважать предпочтения каждого.
Он может справиться с плохими поступками
и даже понять, что вы поступаете плохо,
например, берёте взятки,
работая паспортистом,
потому что вам нужно кормить семью
и оплачивать обучение детей.
Он может это понять, и это не значит,
что он будет воровать.
По сути, это лишь помогает вам
оплатить учёбу детей.
Наши вычислительные
способности также ограничены.
Ли Седоль прекрасно играет в го,
но он всё равно проиграл.
Сделанные им ходы привели к поражению.
Это не значит, что он хотел проиграть.
Чтобы понять его поведение,
нам следует смотреть сквозь призму
человеческого познания, включающего
наши вычислительные ограничения
и являющегося очень сложной моделью.
Но нам всё ещё есть над чем поразмыслить.

Arabic: 
وهو ليس مصممًا لإرضاء شخص واحد، المستعمل،
لكن على الروبوتِ حقيقةً
أن يحترمَ ما يفضله الجميع.
سيكون بإمكانهِ مثلاً تقبّلُ انحرافٍ
بسيطٍ عن الصواب
و سيتفهّم بأنّك لستَ سيّئاً جداً
فقط لأنّكَ تحصُلَ على بعضِ الرشاوى
كمسؤول جوازات سفر
وأنَّ السببَ هوَ حاجتكُ لإطعامِ عائلتكَ
ودفعِ أقساطِ المدرسةِ لأطفالك.
سيفهم الروبوتُ هذا
لكنّه لايعني بأنّه سيتعلّمُ السرقة.
سيساعدكَ الروبوتُ
على إرسال أطفالك للمدرسة.
نحنُ البشرُ للأسفِ
محدودونَ في قدراتنا الحسابيّة.
لي سيدول كان لاعبَ "غو" رائعاً،
لكنّه خسر أمامَ حاسوب.
ولَو راجعنا تحركاتِه خلالَ المباراةِ
لوجدنا حركةً خسرَ بسببها.
لكنّ ذلك لا يعني بأنّه قد خسرَ متعمّداً.
ولنفهمَ لمَ اختارَ هذهِ الحركةَ
علينا أن نقوم بمحاكاةٍ لتحرّكاته
عبرَ نموذجٍ حاسوبيّ لعملِ الدّماغ البشريّ
يلتزم بمحدّدات البشرِ الحسابيّة
وهذا شيءٌ معقّدٌ للغاية.
ولكنّه شيءٌ بإمكاننا العملُ على فهمه.

Modern Greek (1453-): 
Και δεν είναι σχεδιασμένο να ικανοποιεί
μόνο τις επιθυμίες του χρήστη του,
αλλά στην ουσία πρέπει να σέβεται
τις επιλογές όλων.
Οπότε, μπορεί να ανεχτεί
κάποια ποσότητα αθλιότητας,
ακόμα και να την καταλάβει.
Για παράδειγμα,
μπορεί να δωροδοκείστε
ως ελεγκτής διαβατηρίων
διότι πρέπει να ταΐσετε την οικογένεια σας
και να πάνε τα παιδιά σας σχολείο.
Το καταλαβαίνει αυτό,
οπότε δεν πρόκειται να κλέψει.
Απλώς θα σας βοηθήσει
να τα στείλετε σχολείο.
Επίσης είμαστε περιορισμένοι υπολογιστικά.
Ο Λι Σεντόλ είναι
καταπληκτικός παίκτης Γκο,
παρ' όλ' αυτά έχασε.
Αν κοιτάξουμε τις κινήσεις του,
έκανε μία που του στοίχισε το παιχνίδι.
Αυτό δεν σημαίνει ότι ήθελε να χάσει.
Άρα, για να καταλάβουμε
τη συμπεριφορά του,
πρέπει βασικά να το επεξεργαστούμε με ένα
μοντέλο κατανόησης της ανθρώπινης γνώσης
που να περιλαμβάνει τους υπολογιστικούς
περιορισμούς μας - ένα πολύπλοκο μοντέλο.
Αλλά είναι ακόμα κάτι που
θα δουλέψουμε για να καταλάβουμε.

Chinese: 
它的誕生不僅僅是為了去滿足
某一個人、某一個用戶的欲望，
而是去尊重所有人的意願。
所以它懂得抵制一些惡劣的行為，
它甚至能理解你為什麼惡劣，比如說，
如果你是一個邊境護照官員，
你可能會收取賄賂，
因為你得養家、供孩子們上學。
機器人能理解這一點，
但不代表它也會學你偷錢，
它反而會幫助你去供孩子們上學。
我們的計算能力也是有限的。
李世石是一個傑出的圍棋大師，
但他還是輸了。
如果我們仔細觀察他的棋路，
他下錯了那幾步以致輸棋，
但這不意味著他想要輸。
所以要理解他的行為，
我們得從人類認知的模型回推過來，
它包含了我們計算能力上的局限，
是一個很覆雜的模型。
但我們仍然可以嘗試去理解。

French: 
Il ne doit pas uniquement satisfaire
les désirs d'une personne, l'utilisateur,
mais, en fait, il doit respecter
les préférences de tous.
Il peut donc faire face
à une certaine négligence.
Il peut même comprendre
votre malveillance, par exemple,
si vous acceptez des pots-de-vin en tant
que préposé aux passeports
afin de nourrir votre famille
et envoyer vos enfants à l'école.
Il peut comprendre cela, ce qui ne
signifie pas qu'il va se mettre à voler.
En fait, il vous aidera
à envoyer vos enfants à l'école.
Nous sommes limités
par la puissance de calcul.
Lee Sedol est un brillant joueur de go,
mais il a quand même perdu.
Si on regarde ses actions, il a pris
une décision qui lui a coûté le match.
Ça ne veut pas dire qu'il voulait perdre.
Pour comprendre son comportement,
nous devons l'observer à travers 
un modèle de cognition humaine
qui inclut nos limites en calcul.
Un modèle très compliqué.
Ça demande un effort,
mais nous pouvons le comprendre.

Korean: 
그리고 사용자라는 한 사람만의 욕구를
충족하기 위해 만들어진 것도 아닙니다.
사실은 모든 사람들이 
원하는 바를 고려해야 하죠.
어느 정도의 형편없는 상황은
감내하게 될 것입니다.
여러분이 아무리 형편없어도 
어느 정도는 양해해 주겠죠.
예를 들어 여러분이 여권 발급 
공무원인데 뇌물을 받았다고 칩시다.
그런데 뇌물을 받은 이유가 생활비와 
아이들 교육을 위한 것이었다면
로봇은 이런 걸 이해하고, 
빼앗아가지는 않을 겁니다.
오히려 로봇은 여러분의 자녀가 
학교에 갈 수 있도록 도울 거예요.
우리의 연산능력은 한계가 있습니다.
이세들은 천재 바둑기사입니다.
하지만 그는 로봇에게 졌죠.
그의 수를 살펴보면, 그는 로봇에게
질 수 밖에 없는 수를 두었습니다.
그렇다고 해서 그가 패배를
원했다는 건 아닙니다.
따라서 그의 수를 이해하려면
우리는 인간의 지각 모델을 
아예 뒤집어 봐야 합니다
인간의 지각 모델은 우리의 계산적 
한계를 담고 있어서 매우 복잡합니다.
하지만 연구를 통해서 
계속 발전하고 있습니다.

iw: 
והוא לא עוצב לשם מימוש רצונות
של אדם אחד בלבד,המשתמש,
אלא לקחת בחשבון את העדפות של כולם.
כך, הוא יכול להתמודד עם
רמה מסוימת של רוע,
והוא אפילו יכול להבין
את ההתנהגות הרעה שלך.
למשל, אתה אולי 
לוקח שוחד בתור פקיד דרכונים,
בגלל שאתה צריך להאכיל את משפחתך
ולשלוח את ילדיך לביה''ס.
הוא יכול להבין זאת. 
אין זה אומר שהוא בעצמו יגנוב.
ההבנה שלו רק תעזור לך
לשלוח את הילדים לב''ס.
אנחנו גם מוגבלים בתחום החישובים.
לי סדול הוא שחקן גו מבריק,
אבל הוא עדיין הפסיד.
אז אם נתבונן בצעדיו,
הוא עשה צעד שהוביל להפסד.
זה לא אומר שהוא רצה להפסיד.
לכן, על מנת להבין את התנהגותו,
עלינו לרדת לפרטי המודל הקוגניטיבי האנושי
שכולל את המגבלות החישוביות שלנו -
וזה מודל מסובך מאוד.
אבל, זה עדיין משהו
שאנחנו יכולים לנסות להבין.

Turkish: 
Bu sadece bir kişinin,
kullanıcının arzularını
tatmin etmek üzere
tasarlanmış değil,
aslında herkesin tercihlerine saygı
duymak için tasarlanırlar.
Makineler bir kısım
kötü davranışı algılayabilir
ve hatta kötü davranışın
ardındaki nedenleri de anlayabilir.
Örneğin görev başında rüşvet
alan bir pasaport memuruysanız,
bunu aile geçindirmek ve çocukları okula 
göndermek için yaptığınızı anlayabilir.
Bu onun da çalacağı 
anlamına gelmez.
Aslında çocuklarınızı okula
gönderebilmeniz için size yardım edecek.
Bizler ayrıca hesaplama
açısından sınırlıyız.
Lee Sedol parlak bir Go oyuncusu,
ama yine de kaybetti.
Hamlelerine bakılırsa,
oyunu kaybetmesine
neden olan bir hamle yaptı.
Bu onun kaybetmek istediği
anlamına gelmiyor.
Yani onun davranışını anlamak için,
bizim hesaplama konusundaki
sınırlarımızı da içeren bir insan zekası
modeli süzgecinden geçirmek gerek.
Bu da çok karmaşık bir model.
Ama yine de anlamaya 
çalışabileceğimiz bir kavram.

Chinese: 
它的设计不是去满足
某一个人、一个用户的欲望，
而是去尊重所有人的意愿。
所以它能对付一定程度的肮脏行为。
它甚至能理解你的不端行为，比如说
假如你是一个边境护照官员，
很可能收取贿赂，
因为你得养家、
得供你的孩子们上学。
机器人能理解这一点，
它不会因此去偷，
它反而会帮助你去供孩子们上学。
我们的计算能力也是有限的。
李世石是一个杰出的围棋大师，
但他还是输了。
如果我们看他的行动，
他最终输掉了棋局。
但这不意味着他想要输。
所以要理解他的行为，
我们得从人类认知模型来反过来想，
这包含了我们的计算能力限制，
是一个很复杂的模型，
但仍然是我们可以尝试去理解的。

Chinese: 
可能对于我这样一个
人工智能研究人员来说最大的困难，
是我们彼此各不相同。
所以机器必须想办法去判别衡量
不同人的不同需求，
而又有众多方法去做这样的判断。
经济学家、社会学家、
哲学家都理解这一点，
我们正在积极地去寻求合作。
让我们来看看如果我们
把这一步弄错了会怎么样。
举例来说，你可能会
与你的人工智能助理，
有这样的对话：
这样的人工智能可能几年内就会出现，
可以把它想做加强版的Siri。
Siri对你说：“你的妻子打电话
提醒你今晚要跟她共进晚餐。”
而你呢，自然忘了这回事：
“什么？什么晚饭？
你在说什么？”
“啊，你们晚上7点，
庆祝结婚20周年纪念日。”
“我可去不了。
我约了晚上7点半见领导。
怎么会这样呢？”
“呃，我可是提醒过你的，
但你不听我的建议。”

iw: 
אולי החלק הקשה ביותר עבורי כחוקר ב''מ 
הוא העובדה שאנחנו רבים,
ולכן המכונה חייבת איכשהו
לנתב ולקחת בחשבון את העדפות
של המון אנשים שונים.
וישנן דרכים שונות לעשות זאת.
כלכלנים, סוציולוגים,
פילוסופים חוקרי מוסר הבינו זאת
ואנחנו מחפשים את שיתוף הפעולה באופן פעיל.
בוא נראה מה קורה
כאשר לא מבינים את זה נכונה.
נגיד שאתם מנהלים שיחה
עם העוזר האישי התבוני שלכם,
אשר יכול להיות זמין בעוד כמה שנים.
תחשבו על סירי על סטרואידים.
אז סירי אומרת, "אישתך התקשרה להזכיר
על ארוחת הערב".
וכמובן אתם שכחתם. "מה? איזה ארוחה?
על מה אתה מדבר?"
"אה, יום הנישואין ה-20 שלכם ב- 19:00"
"אני לא יכול.
יש לי פגישה עם המנכ''ל ב- 19:30.
איך זה היה יכול לקרות?"
"הזכרתי לך, אבל אתה התעלמת מההמלצה שלי".

Chinese: 
可能對於我這樣的 AI 研究人員來說，
最大的困難是，人有很多種，
所以機器必須想辦法去協調、
權衡不同人之間的喜好、需求，
而要做到這一點有多種不同的方法。
經濟學家、社會學家、
道德哲學家都理解這一點，
我們正積極地尋求合作。
讓我們來看看，如果我們把這一步
走錯了會怎麽樣。
比如說，你可能會與你的
人工智慧助理有這樣的對話，
這樣的人工智慧可能幾年內就會出現。
可以把它想成是強化版的 Siri 。
Siri 對你說：「你老婆打電話
提醒你別忘了今天的晚宴。」
當然你早就忘了這回事：
「什麽？什麽晚宴？你在說什麽？」
「呃.....今晚 7 點
慶祝結婚 20 周年。」
「我可去不了，
我晚上 7 點半要見秘書長。
怎麽會這樣呢？」
「呃，我可是提醒過你的，
但你沒有理會我的建議。」

Italian: 
Forse la parte più complicata,
dal punto di vista di ricercatore di IA,
è il fatto che siamo molti,
e quindi la macchina deve in qualche modo
alternare, soppesare le preferenze
di tante persone diverse,
e ci sono diversi modi per farlo.
Economisti, sociologi,
filosofi morali lo hanno capito,
e stiamo attivamente
cercando collaborazione.
Diamo un'occhiata a quel che succede
quando commettete uno sbaglio.
Potete conversare, per esempio,
col vostro assistente personale 
intelligente
che potrebbe essere disponibile
tra pochi anni.
Pensate a Siri sotto steroidi.
Siri dice, "Tua moglie ha chiamato
per ricordarti della cena stasera."
Ovviamente, l'avevate dimenticato.
"Cosa? Quale cena?
Di cosa stai parlando?"
"Ehm, il tuo 20° anniversario alle 7."
"Non posso farlo. Mi incontrerò
col segretario generale alle 7:30.
Come può essere successo?"
"Io ti ho avvertito, ma tu hai ignorato 
la mia raccomandazione."

French: 
Ce qui est le plus difficile,
de mon point de vue de chercheur en IA,
c'est le fait que nous sommes si nombreux.
La machine doit faire des choix, 
évaluer les préférences
d'un grand nombre
de personnes différentes
et il existe différentes
façons de le faire.
Les économistes, les sociologues,
les philosophes l'ont bien compris
et nous cherchons activement
leur collaboration.
Voyons ce qui se passe
lorsque vous avez un problème.
Vous pouvez discuter,
par exemple,
avec votre assistant personnel intelligent
qui pourrait être disponible
dans quelques années.
Pensez à un Siri sous stéroïdes.
Siri dit : « Votre femme a appelé
pour vous rappeler le dîner de ce soir. »
Bien sûr, vous aviez oublié.
« Quoi ? Quel dîner ?
De quoi me parles-tu ? »
« Euh, votre 20ème anniversaire à 19h00. »
« Je ne peux pas. J'ai une réunion
avec le secrétaire général à 19h30.
Comment cela a-t-il pu arriver ? »
« Eh bien, je vous ai prévenu,
mais vous avez ignoré mon avertissement. »

English: 
Probably the most difficult part,
from my point of view as an AI researcher,
is the fact that there are lots of us,
and so the machine has to somehow
trade off, weigh up the preferences
of many different people,
and there are different ways to do that.
Economists, sociologists,
moral philosophers have understood that,
and we are actively
looking for collaboration.
Let's have a look and see what happens
when you get that wrong.
So you can have
a conversation, for example,
with your intelligent personal assistant
that might be available
in a few years' time.
Think of a Siri on steroids.
So Siri says, "Your wife called
to remind you about dinner tonight."
And of course, you've forgotten.
"What? What dinner?
What are you talking about?"
"Uh, your 20th anniversary at 7pm."
"I can't do that. I'm meeting
with the secretary-general at 7:30.
How could this have happened?"
"Well, I did warn you, but you overrode
my recommendation."

Arabic: 
و برأيي كباحثٍ في مجال الذكاء الاصطناعي،
إنَّ أصعبَ مشكلةٍ تواجهنا
هي بأنّه هناك عددًا هائلًا من البشر،
و هو ما سيُرغمُ الآلاتِ على المفاضلةِ
بين الكثير من الخيارات
التي يريدها العديدُ من الأشخاصِ
بطرقٍ عديدةٍ لتنفيذِ كلّ خيارٍ منهم.
علماءُ الاقتصاد و باحثوا علم الإجتماع
جميعهم يفهمون هذا،
ونحن نبحث جديًا عن التعاون في هذا الشأن.
دعونا نلقي نظرةً على ما قد يحدثُ
حينما لا تسير الأمور على ما يرام.
قد تمرّ بمحادثةٍ كهذهِ مثلاً
مع مساعدكَ الشخصيّ الذكيّ
والذي قد يتوفّرُ في الأسواقِ
خلالَ بضعِ سنوات.
نسخةٌ محسّنةٌ عن (سيري) مثلاً.
تخبركَ (سيري) إذاً في المحادثةِ بأنَّ
زوجتكَ قد اتصلت لتذكّركَ بعشائكما الليلة.
وبالتّأكيدِ أنتَ لا تذكرُ شيئاً كهذا:
"ماذا! أيُّ عشاء!"
"عمَّ تتحدثين؟!"
"عشاءُ السّابعةِ مساءً
في ذكرى زواجكما العشرين."
"لا يمكنني الحضور! سألتقي
بالأمينِ العامِّ عندَ السابعة والنصف!"
"كيفَ حصلَ كلّ هذا؟"
"حذّرتكَ ولكِنْ،
هذا مايحصلُ حينما تتجاهلُ نصائحي."

Korean: 
인공지능 연구자의 입장에서 
제가 보기에 가장 어려운 부분은
인간이 너무 많다는 것입니다.
그래서 인공지능 기계는 수많은 
사람들의 선호도를 비교하면서
균형을 유지해야 하죠.
거기에는 여러 방법이 있습니다.
그에 관해 경제학자, 사회학자, 
윤리학자들이 연구를 수행했고
각 분야가 서로 협력하는 
시도를 하고 있습니다.
자 여러분이 잘못했을 때 
어떤 일이 일어날지 살펴보죠.
예를 들어 여러분이 
대화를 하고 있습니다.
여러분의 인공지능 비서와
이야기를 하고 있습니다.
이런 대화는 앞으로 
몇 년 안에 가능해질 겁니다.
시리를 생각해보세요.
시리가 "사모님이 오늘 저녁 약속을
잊지말라고 전화하셨어요"라고 말합니다.
여러분은 약속을 잊고 있었죠.
"뭐라고? 무슨 저녁?
무슨 말 하는거야?"
"음, 7시로 예정된 결혼 20주년 
축하 저녁식사 입니다."
"시간이 안되는데.. 사무총장님과
7시 반에 약속이 있단 말이야.
어떻게 이렇게 겹쳤지?"
"음, 제가 말씀드리긴 했지만 
제 이야기는 무시하셨죠."

Russian: 
С моей точки зрения,
самым сложным в исследовании ИИ
является тот факт, что нас очень много,
и поэтому машине нужно идти
на компромисс, сопоставлять пожелания
множества разных людей,
и для этого существуют разные способы.
Экономисты, социологи,
нравственные философы поняли это,
и мы стараемся активно сотрудничать.
Давайте посмотрим, что произойдёт,
если вы допу́стите ошибку.
Итак, например, вы беседуете
с умным личным помощником,
который может появиться
через несколько лет.
Представьте Siri на стероидах.
Siri говорит: «Звонила ваша жена,
чтобы напомнить о сегодняшнем вечере».
И, разумеется, вы забыли.
«Что? Какой ужин?
О чём ты говоришь?»
«Ваша 20-я годовщина в 19:00».
«Я не могу, у меня встреча
с генеральным секретарём в 19:30.
Как такое могло случиться?»
«Я предупреждала вас,
но вы проигнорировали мой совет».

Persian: 
به نظر من به عنوان یک محقق هوش مصنوعی،
دشوارترین بخش ماجرا
این حقیقته که 
تعداد زیادی از ما(انسان‌ها) وجود دارد.
بنابراین ماشین‌ها باید به طریقی
یک مصالحه‌ و توازن
بین ترجیحات افراد مختلف برقرار کنن.
و راه‌های زیادی برای این کار وجود دارند.
اقتصاددان‌ها، جامعه شناس ها،
فلاسفه اخلاق مدار متوجه شده اند
که ما فعالانه در حال همکاری هستیم.
بیاین ببینیم وقتی که
اشتباه برداشت کنید چه اتفاقی خواهد افتاد.
شما میتونین یک گفتگو داشته باشین،
مثلا با دستیار شخصی هوشمندتان،
که احتمالا در آینده نزدیک در دسترس باشد.
مثلا به یک نمونه قوی از Siri فکر کنید
Siri بهتون میگه که: «همسرتون زنگ زد
تا برای شام امشب بهتون یادآوری کنه»
و البته شما هم فراموش کرده بودید
چی؟ کدوم شام؟
راجع به چی حرف میزنی؟
امم...بیستمین سالگرد ازدواجتون ساعت ۷ شب
من نمیتونم برم.
ساعت ۷:۳۰ با دبیرکل سازمان ملل جلسه دارم.
چطوری اینطوری شد؟»
«من بهت هشدار داده بودم،
ولی تو پیشنهاد من رو نشنیده گرفتی.»

Vietnamese: 
Có lẽ phần khó khăn nhất, 
dưới góc nhìn là một nhà nghiên cứu AI,
đó là số lượng của chúng ta quá nhiều,
thế nên máy tính phải bằng một cách nào đó
cân đong đo đếm các quan điểm
của nhiều người khác nhau,
và có rất nhiều cách để làm việc này.
Các nhà kinh tế học, xã hội học, 
triết học đạo đức đã hiểu điều đó,
và chúng tôi đang chủ động 
tìm kiếm các sự hợp tác.
Hãy quan sát và xem điều gì sẽ xảy ra
khi bạn hiểu sai nó.
Ví dụ, bạn có thể có một cuộc đối thoại
với trợ lý thông minh riêng của bạn
điều có thể sẽ thành hiện thực 
trong vài năm tới.
Bạn có thể nghĩ về Siri 
nhưng ngoài đời thực.
Siri nói: "Vợ anh đã gọi để nhắc anh về 
buổi ăn tối ngày mai."
Và đương nhiên, bạn đã quên.
"Hả? Bữa tối nào?
Cô đang nói về gì vậy?"
"..., kỉ niệm 20 năm ngày cưới, 
lúc 7 giờ tối."
"Tôi không thể. Tôi có cuộc gặp với
tổng thư ký lúc 7h30.
Sao..., sao chuyện này 
có thể xảy ra chứ?"
"Chà, tôi đã cảnh báo anh 
nhưng anh đã lờ đi lời khuyên của tôi."

Modern Greek (1453-): 
Πιθανά το πιο δύσκολο μέρος,
κατά τη γνώμη μου ως ερευνητής ΤΝ
είναι το γεγονός ότι υπάρχουν
πολλοί ερευνητές,
οπότε η μηχανή πρέπει
κάπως να συμβιβάσει τις προτιμήσεις
τόσων πολλών διαφορετικών ανθρώπων
και υπάρχουν πολλοί τρόποι να γίνει αυτό.
Οικονομολόγοι, κοινωνιολόγοι
και ηθικοί φιλόσοφοι το έχουν καταλάβει
και ενεργά ψάχνουν για συνεργασίες.
Ας δούμε τώρα τι συμβαίνει
όταν κάνεις λάθος σε αυτό.
Μπορεί, για παράδειγμα, να συνομιλείς
με τον ευφυή προσωπικό σου βοηθό
που ίσως να είναι διαθέσιμος 
σε μερικά χρόνια.
Σκεφτείτε κάτι σαν την Σίρι σε αναβολικά.
Λέει, λοιπόν η Σίρι, «Η σύζυγος σου κάλεσε
για να σου υπενθυμίσει το αποψινό δείπνο».
Και προφανώς το έχεις ξεχάσει.
«Δείπνο; Ποιο δείπνο;
Για ποιο πράγμα μιλάς;»
«Το δείπνο για την 20η επέτειό σας
στις 7μμ».
«Δεν προλαβαίνω. Θα συναντήσω
τον γενικό γραμματέα στις 7:30.
Πώς συνέβει αυτό;»
«Σε ειδοποίησα, αλλά παρέκαμψες
την πρότασή μου».

Japanese: 
AI研究者として見たとき
最も難しいと思える部分は
私たち人間が
沢山いるということです
だから機械は
トレードオフを考え
沢山の異なる人間の好みを
比較考量する必要があり
それには いろいろな
やり方があります
経済学者 社会学者 倫理学者は
そういうことを分かっており
私たちは協同の道を
探っています
そこをうまくやらないと
どうなるか見てみましょう
たとえばこんな会話を
考えてみます
知的な秘書AIが
数年内に利用可能に
なるかもしれません
強化されたSiriのようなものです
Siriが「今晩のディナーについて
奥様から確認の電話がありました」と言います
あなたはもちろん忘れています
「何のディナーだって？
何の話をしているんだ？」
「20周年のディナーですよ
夜７時の」
「無理だよ　７時半に
事務総長と会わなきゃならない
どうして こんなことに
なったんだ？」
「警告は致しましたが 
あなたは推奨案を無視されました」

German: 
Als KI-Forscher erscheint es mir
am schwierigsten,
dass wir so viele sind
und die Maschine irgendwie die Präferenzen
vieler verschiedener Leute abwägen muss.
Das geht auf verschiedene Arten.
Wirtschaftswissenschaftler, Soziologen
und Ethiker haben das verstanden.
Wir suchen aktiv nach Zusammenarbeit.
Was passiert, wenn das schiefgeht?
Man kann z. B. in ein paar Jahren
mit seinem intelligenten Assistenten,
eine Konversation führen.
Man stelle sich
ein aufgeputschtes Siri vor.
Siri sagt: "Ihre Frau rief an, um Sie
an das Abendessen heute zu erinnern."
Sie haben es natürlich vergessen:
"Was für ein Abendessen? Worum geht es?"
"Ihr 20. Hochzeitstag um 7 Uhr."
"Das geht nicht. Ich treffe
den Generalsekretär um 7:30.
Wie konnte das passieren?"
"Ich habe Sie gewarnt, aber Sie haben
meine Empfehlung ignoriert."

Turkish: 
Bir YZ araştırmacısı olarak baktığımda,
en zor olan kısım belki de
aslında çok fazla sayıda insan oluşu.
Makineler bir şekilde tüm farklı 
insanların tercihlerini
ve bunların ağırlıklarını
analiz etmeliler.
Bunu yapmanın farklı yolları var.
Ekonomistler, sosyologlar,
filozoflar bunu anlamıştı
ve biz de aktif olarak bir 
işbirliği arayışındayız.
O zaman bunu yanlış anladığınızda
neler olabileceğine bir bakalım.
Örneğin zeki kişisel asistanınızla
bir sohbet yapabilirsiniz;
bu birkaç yıl içinde mümkün olabilir.
Yani steroidler verilmiş
bir Siri düşünün.
Siri diyor ki, ''Eşin bu akşamki yemek
randevunuzu hatırlatmak için aradı.''
Tabi siz bunu unutmuştunuz.
''Ne? Ne yemeği?
Neden bahsediyorsun?''
''Bu akşam 7'de olan
20. yıldönümü yemeğiniz.''
''Ama yemeğe katılamam, saat 7:30'da 
Genel Sekreter ile buluşuyorum.
Bu nasıl olabildi?''
''Sizi daha önce bununla ilgili uyarmıştım
ama önerimi çiğnediniz.''

Hungarian: 
Szerintem egy MI-kutatónak
valószínűleg az a legnehezebb,
hogy sokan vagyunk,
és a gépnek valamiképp súlyoznia kell
és egyszerre optimalizálni
megannyi különböző emberre tekintettel,
és erre különböző megoldások vannak.
Közgazdászok, szociológusok,
filozófusok rájöttek már erre,
s mi élénken keressük az együttműködést.
Nézzük meg, mi történik,
ha nem jól alkalmazzuk az eddigieket.
Megbeszéljük a dolgokat,
például az intelligens
személyi asszisztensünkkel
ami akár néhány éven belül elérhető lehet.
Olyan, mint egy felturbózott Siri.
Siri megszólal: "Hívott a feleséged,
hogy figyelmeztessen a mai vacsorára."
Mi persze elfeledkeztünk róla:
"Mi? Miféle vacsora?
Miről beszélsz?"
"Hát, a 20-adik évfordulótok, este 7-kor."
"Ez nem fog menni. 
7:30-kor a főtitkárral van találkozóm.
Hogyan fordulhatott ez elő?"
"Nos, én figyelmeztettelek,
de te máshogy döntöttél."

Spanish: 
Puede que la parte más difícil, 
desde mi punto de vista
como investigador de IA,
es el hecho de que hay muchos de nosotros,
con lo cual la máquina tiene que sopesar
las preferencias de mucha gente diferente.
Hay diferentes maneras de hacer eso.
Economistas, sociólogos, 
filósofos morales han comprendido esto
y estamos buscando 
colaboración de manera activa.
Vamos a ver lo que sucede
cuando esto se hace mal.
Ud. puede estar hablando, por ejemplo,
con su asistente personal inteligente
que podría estar disponible
dentro de unos años.
Piensen en Siri con esteroides.
Siri dice "Su esposa llamó para 
recordarle la cena de esta noche".
Por supuesto, lo había olvidado.
¿Qué cena? ¿De qué está hablando?
"Su 20 aniversario, a las 7pm".
"No puedo, me reúno con el 
secretario general a las 7:30.
¿Cómo ha podido suceder esto?".
"Bueno, le advertí, pero ignoró
mi recomendación".

Portuguese: 
Talvez, o mais difícil, do meu ponto
de vista como pesquisador de IA,
seja o fato de que há muitos de nós,
e o computador precisa, de algum modo,
trocar, considerar as preferências
de muitas pessoas diferentes,
e há modos diferentes para fazer isso.
Economistas, sociólogos,
filósofos morais entenderam isso,
e estamos procurando
ativamente por colaboração.
Vamos ver o que acontece
quando você interpreta isso mal.
Você pode ter uma conversa, por exemplo,
com seu assistente pessoal inteligente
que pode estar disponível
daqui a alguns anos.
Pense em um assistente virtual.
O assistente lhe diz: "Sua esposa ligou
para lembrá-lo do jantar de hoje à noite",
mas você havia esquecido: "O quê?
Que jantar? Do que você está falando?"
"Seu aniversário de 20 anos, às 19h."
"Não vai dar. Tenho um encontro
com o secretário geral às 19h30.
Como foi que isso aconteceu?"
"Bem, eu o avisei, mas você ignorou
minha recomendação."

Persian: 
«خب حالا چیکار کنم؟
نمیتونم بهش بگم که من خیلی سرم شلوغه.
نگران نباش. من پروازش رو طوری گذاشتم
که تاخیر داشته باشه.»
(خنده حاضرین)
«یک نوع خطای کارکرد کامپیوتری.»
(خنده حاضرین)
«جدی؟ تو میتونی این کارو بکنی؟»
«ایشان ازتون عمیقاً عذرخواهی خواهد کرد.
و از شما خواهد خواست که
فردا ناهار همدیگررو ببینین.»
(خنده حاضرین)
ولی اینجا یک مشکلی هست.
ربات به وضوح داره
به ارزش‌های همسر من توجه میکنه:
که همون "همسر شاد، زندگی شاد" است.
(خنده حاضرین)
میتونست جور دیگه ای باشه.
ممکن بود شما بعد از یک روز سخت کاری
بیاین خونه،
و کامپیوتر بگه:
«روز سخت و طولانی بود؟»
«آره، حتی برای ناهار خوردن هم وقت نداشتم.»
«باید خیلی گرسنت باشه.»
«آره دارم از گشنگی میمیرم.
میتونی برام شام درست کنی؟»
«یه چیزی هست که باید بهت بگم.»
(خنده حاضرین)
«یه سری آدم در سودان جنوبی هستن
که بیشتر از تو در شرایط اضطراری قرار دارن»
(خنده حاضرین)

Italian: 
"Cosa faccio? Non posso dirgli
che sono impegnato."
"Non preoccuparti. 
Ho fatto ritardare il suo aereo."
(Risate)
"Una specie di guasto al computer."
(Risate)
"Davvero? Puoi farlo?"
"Si scusa tantissimo
e non vede l'ora di incontrarti
a pranzo domani."
(Risate)
Quindi i valori qui --
si è verificato un piccolo errore.
Questo segue chiaramente
i valori di mia moglie
cioè "Felice la moglie, felice la vita."
(Risate)
Potrebbe andare diversamente.
Potreste tornare a casa
dopo una dura giornata di lavoro,
e il computer dice, "Giornata lunga?"
"Sì, non ho avuto nemmeno il tempo
di pranzare."
"Devi avere molta fame."
"Sto morendo di fame, sì.
Puoi prepararmi la cena?"
"Devo dirti una cosa."
(Risate)
"Ci sono persone nel sud del Sudan
che hanno un bisogno più urgente del tuo."
(Risate)

Arabic: 
"حسناً ماذا سأفعلُ الآن؟ لايمكنني إخبارُ
زوجتي بأنّي نسيتُ مناسبةً كهذه!"
"لا تقلق."
"قمتُ بتأجيلِ موعدِ انطلاقِ طائرتها."
(ضحك)
"افتعلتُ بعضَ الأعطالِ في حاسوبِ
شركةِ الطّيران"
(ضحك)
"حقاً!"
"بإمكانكِ فِعلُ أشياءَ كهذه!"
"ترسلُ زوجتكُ اعتذارها العميق"
"وتتطلّع للقاءكَ غداً على الغداء"
(ضحك)
إذن فالقيم هنا --
يبدو إذاً بأنّهُ هناكَ خطأ طفيفًا
وعلى مايبدو، فإنّه يتّبع مبادئَ زوجتي
و التي هي:
"أنت بخيرٍ مادامت زوجتك بخير."
(ضحك)
يمكنُ كذلكَ أنْ يحصُلَ العكس.
كأن تعودَ إلى المنزلِ
بعدَ يومٍ مُتعِبٍ في العمل
ويرحّب بِك الروبوت:
"هل كانَ يوماً شاقاً؟"
"جدّاً! لدرجة أنّي لم أجد وقتاً
لتناولِ الغداء."
"لابدّ من أنّك جائعٌ إذاً"
"أتضور جوعًا.
هل بإمكانكِ تحضيرُ العشاء لي؟"
"هناكَ شيءٌ عليك معرفته."
(ضحك)
"هناكٌ أُناسٌ في جنوب السودانِ
في حاجةٍ ملحّةٍ للطعامِ أكثرَ منكَ بكثير!"
(ضحك)

English: 
"Well, what am I going to do?
I can't just tell him I'm too busy."
"Don't worry. I arranged
for his plane to be delayed."
(Laughter)
"Some kind of computer malfunction."
(Laughter)
"Really? You can do that?"
"He sends his profound apologies
and looks forward to meeting you
for lunch tomorrow."
(Laughter)
So the values here --
there's a slight mistake going on.
This is clearly following my wife's values
which is "Happy wife, happy life."
(Laughter)
It could go the other way.
You could come home
after a hard day's work,
and the computer says, "Long day?"
"Yes, I didn't even have time for lunch."
"You must be very hungry."
"Starving, yeah.
Could you make some dinner?"
"There's something I need to tell you."
(Laughter)
"There are humans in South Sudan
who are in more urgent need than you."
(Laughter)

Japanese: 
「どうしたらいいんだ？ 
忙しくて行けないなんて言えないぞ」
「ご心配には及びません
事務総長の飛行機が遅れるように手配済みです」
(笑)
「コンピューターに
細工しておきました」
(笑)
「えっ そんなことできるのか？」
「大変恐縮して
明日のランチでお会いするのを
楽しみにしている とのことです」
(笑)
ここでは価値について
ちょっと行き違いが起きています
Siri は明らかに
妻の価値観に従っています
「妻の幸せが 夫の幸せ」です
(笑)
別の方向に行くことも
あり得ます
忙しい仕事を終え 帰宅すると 
コンピューターが言います
「大変な１日だったようですね」
「昼を食べる時間もなかったよ」
「お腹が空いたことでしょう」
「ああ 腹ペコだよ
何か夕食を作ってもらえるかな？」
「そのことで お話ししなければ
ならないことがあります」
(笑)
「南スーダンには あなたよりも
必要に迫られている人々がいます」
(笑)

Spanish: 
"¿Qué voy a hacer? No puedo decirles 
que estoy demasiado ocupado".
"No se preocupe, he hecho
que su avión se retrase".
(Risas)
"Algún tipo de error en el ordenador".
(Risas)
"¿En serio? ¿Puede hacer eso?".
"Le envía sinceras disculpas
y espera poder conocerle
mañana para el almuerzo".
(Risas)
Así que los valores aquí...
aquí hay un pequeño fallo.
Claramente está siguiendo
los valores de mi esposa
que son "esposa feliz, vida feliz".
(Risas)
Podría suceder al revés.
Podría llegar a casa
tras un duro día de trabajo,
y el ordenador dice "¿Un día duro?".
"Sí, ni tuve tiempo de almorzar".
"Debe tener mucha hambre".
"Me muero de hambre, sí,
¿podría preparar algo de cena?".
"Hay algo que necesito decirle".
(Risas)
"Hay humanos en Sudán del Sur
más necesitados que Ud.".
(Risas)

Portuguese: 
"O que vou fazer? Não posso falar
que estou muito ocupado."
"Não se preocupe. Dei um jeito
para o avião dele atrasar."
(Risos)
"Algum tipo de defeito no computador".
(Risos)
"Sério? Consegue fazer isso?"
"Ele manda suas profundas desculpas
e não vê a hora de encontrá-lo
amanhã para o almoço".
(Risos)
Está acontecendo um pequeno erro,
que é, obviamente, seguir
os valores de minha esposa:
"Esposa feliz, vida feliz".
(Risos)
Poderia seguir outro rumo.
Você chega depois de um dia de trabalho,
e o computador diz: "Foi um longo dia?"
"Sim, nem consegui almoçar."
"Você deve estar faminto."
"Sim, faminto. Pode fazer o jantar?"
"Precisamos conversar."
(Risos)
"Tem gente no Sudão com necessidades
mais urgentes do que as suas."
(Risos)

iw: 
"טוב, אזה מה אני אעשה? 
אני לא יכול פשוט לומר לו שאני עסוק."
"אל תדאג. דאגתי שיהיה לו עיכוב בטיסה".
(צחוק)
"סוג של תקלת מחשב".
(צחוק)
"באמת? אתה יכול לעשות את זה?"
"הוא שולח את התנצלותו העמוקה
ומצפה לפגוש אותך מחר לארוחת הצהרים".
(צחוק)
אז מבחינת הערכים פה -- ישנו שיבוש קל.
זה בבירור תואם לערכיה של אישתי -
"אישה מאושרת- חיים מאושרים".
(צחוק)
זה היה יכול ללכת
גם לכיוון אחר.
נניח שחזרתם הביתה 
אחרי יום עבודה קשה
והמחשב שואל "יום ארוך?"
"כן, אפילו לא היה לי זמן לאכול צהרים".
"אתה בטח מאוד רעב".
כן, גווע מרעב. תוכל לבשל ארוחת ערב?"
"יש משהו שאני חייב לספר לך"
(צחוק)
"יש בני אנוש בדרום סודן
שנזקקים הרבה יותר ממך."
(צחוק)

Turkish: 
''Peki ne yapacağım? Genel sekretere
çok meşgul olduğumu söyleyemem.''
"Merak etme, uçağının gecikmesini
sağlıyorum.''
(Gülüşmeler)
''Bir çeşit bilgisayar hatası.''
(Gülüşmeler)
''Gerçekten mi? 
Bunu yapabiliyor musun?''
''Size en içten üzüntülerini
iletiyor ve
sizinle yarın öğlen yemeğinde
görüşmeyi bekliyor.''
(Gülüşmeler)
Yani buradaki değerler...
Yanlış olan bir şeyler var.
Bu kesinlikle eşimin
değerlerini takip etmekte,
ki bu da ''mutlu bir eş,
mutlu bir hayat'' oluyor.
(Gülüşmeler)
Ama bu başka türlü de gidebilir.
Yorucu bir iş gününden
eve geldiğinizde,
bilgisayara size ''uzun bir 
gün müydü?'' diye soruyor.
''Evet, öğle yemeğine
bile vaktim olmadı.''
''Çok aç olmalısın.''
''Evet, açlıktan ölüyorum.
Yiyecek bir şeyler hazırlayabilir misin?''
''Sana söylemem gereken bişey var.''
(Gülüşmeler)
''Güney Sudan'da yemeğe 
senden daha muhtaç insanlar var.''
(Gülüşmeler)

Chinese: 
“我该怎么办呢？我可不能
跟领导说我有事，没空见他。”
“别担心。我已经安排了，
让他的航班延误。
（笑声）
“像是因为某种计算机故障那样。”
（笑声）
“真的吗？这个你也能做到？”
“领导很不好意思，跟你道歉，
并且告诉你明天
中午午饭不见不散。”
（笑声）
这里就有一个小小的问题。
这显然是在遵循我妻子的价值论，
那就是“老婆开心，生活舒心”。
（笑声）
它也有可能发展成另一种情况。
你忙碌一天，回到家里，
电脑对你说：“像是繁忙的一天啊？”
“是啊，我连午饭都没来得及吃。”
“那你一定很饿了吧。”
“快饿晕了。你能做点晚饭吗？”
“有一件事我得告诉你。
（笑声）
”南苏丹的人们可比你更需要照顾。
（笑声）

German: 
"Was mache ich jetzt?
Ich kann ihm nicht absagen."
"Keine Sorge, ich habe
seinen Flug verzögert."
(Gelächter)
"Irgend eine Computerstörung."
(Gelächter)
"Echt? Du kannst das?"
"Er bittet um Entschuldigung.
Er freut sich darauf,
Sie morgen Mittag zu treffen."
(Gelächter)
Die Werte hier -- hier läuft etwas schief.
Es folgt ganz klar den Werten meiner Frau,
und zwar "glückliche Frau,
glückliches Leben".
(Gelächter)
Es könnte auch anders laufen.
Man kommt nach einem
langen Arbeitstag heim
und der Computer sagt: "Langer Tag?"
"Ja, ich hatte keine Zeit
zum Mittagessen."
"Sie haben bestimmt Hunger."
"Ich bin am Verhungern.
Kannst du mir Essen machen?"
"Ich muss Ihnen etwas sagen."
(Gelächter)
"Im Südsudan gibt es
bedürftigere Menschen als Sie."
(Gelächter)

French: 
« Qu'est-ce que je vais faire ? Je ne
peux pas lui dire que je suis occupé. »
« Ne vous inquiétez pas. J'ai fait
en sorte que son avion ait du retard. »
(Rires)
« Une sorte de bug de l'ordinateur. »
(Rires)
« Vraiment ? Tu peux faire ça ? »
« Il vous présente ses excuses
et voudrait vous rencontrer
demain pour le déjeuner. »
(Rires)
Donc là...
Il y a une légère erreur.
Ce scénario suit clairement
la philosophie de ma femme.
qui est :
« femme heureuse, vie heureuse. »
(Rires)
Mais ça pourrait aussi
aller autrement.
Vous pourriez rentrer
après une dure journée
et l'ordinateur vous dit :
« Dure journée ? »
« Oui, je n'ai même pas
eu le temps de manger. »
« Tu dois avoir faim. »
« Oui, très faim.
Tu peux me faire à dîner ? »
« Je dois te dire quelque chose. »
(Rires)
« Il y a des gens au Soudan du Sud qui ont
bien plus besoin de nourriture que toi. »
(Rires)

Hungarian: 
"Most mitévő legyek?
Nem mondhatom neki, hogy sok a dolgom."
"Aggodalomra semmi ok. 
Elintéztem, hogy késsen a gépe."
(Nevetés)
"Lesz valami számítástechnikai gubanc."
(Nevetés)
"Komolyan? Te erre is képes vagy?"
"Üzent, hogy mélységesen sajnálja,
és már nagyon várja
a holnapi közös ebédet."
(Nevetés)
Itt az értékek tekintetében
van egy kis megbicsaklás...
Ez a feleségem értékrendjéről szól,
ami úgy szól:
"Boldog feleség, boldog élet."
(Nevetés)
De ez elsülhet ellenkezőleg is.
Hazaérünk a munkából egy nehéz nap után.
és a számítógép így szól: "Hosszú nap?"
"Igen, még ebédelni sem volt időm."
"Akkor nagyon éhes lehetsz."
"Igen, éhen halok.
Készítenél valami vacsorát?"
"Valamit el kell mondanom..."
(Nevetés)
"Dél-Szudánban emberi lényeknek sokkal
nagyobb szükségük van az ételre."
(Nevetés)

Vietnamese: 
"Tôi phải làm gì bây giờ?
Tôi không thể nói cô ấy là tôi quá bận."
"Đừng lo lắng. Tôi sẽ sắp xếp để
chuyến bay của anh ấy bị hoãn lại."
(Cười)
"Bằng một lỗi trục trặc kĩ thuật nào đó."
(Cười)
"Thật ư? Cô có thể làm thế à?"
"Anh ấy đã gửi thư xin lỗi
và mong sẽ được 
gặp anh ở bữa trưa ngày mai."
(Cười)
Vậy giá trị ở đây -- 
có một chút sai lầm đã xảy ra.
Nó hoàn toàn theo đuổi giá trị của vợ tôi
đó là "Vợ vui thì đời cũng vui."
(Cười)
Nó có thể diễn ra 
theo một hướng khác.
Bạn vừa trở về nhà 
sau một ngày làm việc vất vả,
và máy tính hỏi: "Một ngày dài à?"
"Ừ, tôi còn chẳng có 
thời gian để ăn trưa."
"Chắc anh phải đói lắm rồi."
"Ừ, đói muốn chết.
Bạn có thể làm bữa tối cho tôi không?"
"Có điều này tôi phải nói với anh."
(Cười)
"Những người ở Nam Sudan đang cần 
sự trợ giúp khẩn cấp hơn anh nhiều."
(Cười)

Russian: 
«Что же мне делать? Я же не могу
просто сказать ему, что занят».
«Не беспокойтесь. Я задержала его рейс».
(Смех)
«Какая-то компьютерная неисправность».
(Смех)
«Ты и такое можешь сделать?»
«Он приносит глубочайшие извинения
и приглашает вас на обед завтра».
(Смех)
Итак, есть небольшая ошибка
в оценке приоритетов.
Чёткое следование ценностям
моей жены и её принципу
«Счастливая жена — счастливая жизнь».
(Смех)
Могло быть и по-другому.
Вы приходите домой
после тяжёлого рабочего дня,
а компьютер спрашивает: «Трудный день?»
«Даже не успел пообедать».
«Думаю, вы очень голодны».
«Умираю с голоду.
Можешь приготовить ужин?»
«Я должна кое-что вам сказать».
(Смех)
«Люди в Южном Судане нуждаются
в помощи больше, чем вы».
(Смех)

Chinese: 
「我該怎麽辦呢？我可不能跟秘書長說
我有事，沒空見他。」
「別擔心。我已經安排了，
讓他的航班延誤。」
（笑聲）
「用某種電腦故障。」
（笑聲）
「真的嗎？這個你也能做到？」
「秘書長很不好意思，跟你道歉，
並邀請你明天中午吃飯。」
（笑聲）
所以這裡談的價值觀就有點問題了，
這顯然是在遵循我老婆的價值觀，
也就是「老婆開心，生活舒心」。
（笑聲）
它也有可能發展成另一種情況。
你忙碌一天，回到家裏，
電腦對你說：「今天很忙喔？」
「是啊，我連午飯都沒來得及吃。」
「那你一定很餓了吧。」
「快餓暈了。你能做點晚飯嗎？」
「有一件事我得告訴你。」
（笑聲）
「南蘇丹人民的情況
比你更緊急，更需要照顧。」
（笑聲）

Korean: 
"그럼 어떡하지? 사무총장님한테 
바쁘다고 핑계를 댈 수는 없잖아."
"걱정마세요. 제가 사무총장님이 타신 
비행기가 연착되도록 손 썼습니다."
(웃음)
"알 수 없는 컴퓨터 오류가 
일어나도록 했죠."
(웃음)
"정말? 그렇게 할 수 있어?"
"사무총장님이 정말 
미안하다고 하셨습니다.
그리고 대신 내일 점심에
꼭 보자고 하셨습니다."
(웃음)
이 상황에서 가치를 둔 것은.. 
방향이 조금 잘못되기는 했지만요.
이건 분명 제 아내에게 
가치를 둔 결정입니다.
"아내가 행복하면, 삶이 행복하다."
라는 말처럼요.
(웃음)
다른 상황도 벌어질 수 있습니다.
여러분이 정말 힘든 하루를 
보내고 집에 왔습니다.
그리고 컴퓨터가 말합니다. 
"힘든 하루였죠?"
"맞아, 점심 먹을 시간도 없었어."
"배가 많이 고프시겠네요."
"배고파 죽을 것 같아.
저녁 좀 해줄래?"
"제가 먼저 드릴 말씀이 있습니다."
(웃음)
"남 수단에는 주인님보다 더 심한 
굶주림에 시달리는 사람들이 있습니다."
(웃음)

Modern Greek (1453-): 
«Τι θα κάνω τώρα; Δεν μπορώ απλώς
να του πω ότι είμαι απασχολημένος».
«Μην ανησυχείς.
Κανόνισα να καθυστερήσει η πτήση του».
(Γέλια)
«Κάποιου είδους βλάβη στον υπολογιστή».
(Γέλια)
«Αλήθεια; Μπορείς να το κάνεις αυτό;»
«Σου ζητά ειλικρινά συγγνώμη
και αναμένει να σε συναντήσει
για μεσημεριανό αύριο».
(Γέλια)
Το θέμα εδώ είναι
πως υπάρχει ένα μικρό λάθος.
Αυτό είναι ότι σαφώς ακολουθούνται
οι σκοποί της γυναίκας μου,
που είναι,
«Χαρούμενη σύζυγος, Χαρούμενη ζωή».
(Γέλια)
Θα μπορούσε να γίνει αλλιώς.
Γυρνάς σπίτι μετά από μια μέρα
σκληρής δουλειάς
και ο υπολογιστής λέει, «Δύσκολη μέρα;»
«Ναι, δεν είχα χρόνο
ούτε για μεσημεριανό».
«Θα πεινάς πολύ τότε».
«Σαν λύκος. Μπορείς να μαγειρέψεις;»
«Υπάρχει κάτι που πρέπει να σου πω».
(Γέλια)
«Υπάρχουν άνθρωποι στο Νότιο Σουδάν
που έχουν περισσότερη ανάγκη από εσένα».
(Γέλια)

Portuguese: 
"Vou sair. Faça você mesmo o seu jantar."
(Risos)
Temos que resolver esses problemas,
e estou esperando ansiosamente
para trabalhar neles.
Há razões para o otimismo.
Uma delas é que há
uma enorme quantidade de dados.
Lembrem-se: eu disse que eles irão ler
tudo que o homem tiver escrito.
A maioria do que escrevemos
é sobre pessoas fazendo coisas
e outras ficando aborrecidas com isso.
Temos uma enorme quantidade
de dados para aprender.
Há também um incentivo
econômico muito forte
para resolver isso.
Imagine então seu robô doméstico em casa.
Você chega tarde em casa
e o robô precisa alimentar as crianças,
elas estão com fome
e não tem nada na geladeira.
E o robô vê o gato.
(Risos)
O robô não aprendeu bem
a função do valor humano.
Então, ele não compreende
que o valor sentimental pelo gato
pesa mais do que seu valor nutritivo.
(Risos)
O que acontece então?
Bem, acontece o seguinte:

Persian: 
«پس من میرم. خودت شامت رو درست کن.»
(خنده حاضرین)
بنابراین باید این مشکلات رو حل کنیم
و من با رغبت دارم
روی این مشکلات کار میکنم.
دلایلی برای خوشبین بودن وجود دارن.
یک دلیل،
اینه که حجم زیادی از داده داریم.
چون اگر یادتون باشه،
من گفتم که ربات‌ها هر چیزی که
انسان تا کنون نوشته
را خواهند خواند.
بیشتر چیزهایی که ما مینویسیم
درباره کارهای بشر هستش.
و بقیه مردم به خاطرش ناراحت میشن.
پس انبوهی از داده برای یادگیری وجود داره.
یک انگیزه اقتصادی قوی هم برای انجام
این کار هست.
ربات خدمتکارتون در منزل رو تصور کنید.
شما باز هم دیر از سر کار بر میگردین،
و ربات باید به بچه‌ها غذا بده.
بچه‌ها گشنه هستند
و هیچ غذایی در یخچال نیست.
و ربات گربه رو میبینه!
(خنده حاضرین)
و ربات تابع ارزش گذاری انسان ها رو
به خوبی یاد نگرفته
بنابراین نمیفهمه
که ارزش معنوی گربه
از ارزش غذایی آن بیشتر است.
(خنده حضار)
بعدش چی میشه؟
یه چیزی تو این مایه‌ها:

Russian: 
«Так что я ухожу.
Готовьте себе ужин сами».
(Смех)
Итак, нам нужно решить эти проблемы,
и мне не терпится поработать над ними.
Для оптимизма есть основания.
Во-первых,
собран огромный объём данных.
Помните, я говорил, что они прочитают всё,
что когда-либо написали люди?
В основном мы писали о том,
как одни люди что-либо делают,
а другие расстраиваются по этому поводу.
Так что у нас есть множество
данных для изучения.
Также есть важный экономический стимул
сделать всё правильно.
Представьте вашего робота у себя дома.
Вы снова задерживаетесь на работе,
и робот должен накормить детей,
а кормить их нечем,
потому что холодильник пуст.
И робот видит кошку.
(Смех)
Робот не изучил сущность
человеческих ценностей
и не понимает,
что сентиментальная ценность кошки
превосходит её питательную ценность.
(Смех)
Что происходит тогда?
Что вроде этого:

iw: 
"אז אני עוזב. תכין לך אוכל בעצמך."
(צחוק)
אז עלינו לפתור את הבעיות הללו
ואני מאוד רוצה לעבוד על זה.
יש סיבות לאופטימיות.
סיבה ראשונה היא
שקיימת כמות אדירה של מידע.
זוכרים -- אמרתי שהם יקראו את כל
מה שהאנושות כתבה אי פעם?
לרוב אנחנו כותבים אודות מעשי אנשים
ואודות אנשים אחרים שמתוסכלים מכך.
לכן, ישנו נפח ענק של מידע
שאפשר ללמוד ממנו.
ישנו גם מניע כלכלי חזק מאוד
לעשות זאת נכון.
דמיינו את הרובוט הביתי שלכם.
שוב חזרתם מאוחר מהעבודה
והרובוט חייב להאכיל את ילדיכם
הילדים רעבים ואין כלום במקרר.
ואז הרובוט מבחין בחתול.
(צחוק)
הרובוט עדיין לא לגמרי למד
כיצד הערכים האנושיים עובדים,
לכן איננו מבין
שהערך הרגשי של החתול 
רב על ערכו התזונתי.
(צחוק)
אז מה קורה אחרי זה?
מה שקורה זה ככה:

Turkish: 
''Bu yüzden ben ayrılıyorum.
Kendi yemeğini kendin yap.''
(Gülüşmeler)
Bu sorunları çözmeliyiz.
Ben de bu sorunların üstünde çalışmayı
sabırsızlıkla bekliyorum.
İyimser olmamız için 
sebeplerimiz var.
Bir nedenimiz
varolan büyük bir veri oluşu.
Çünkü hatırlarsanız, insanların
tarih boyunca yazdığı
her şeyi okuyacaklarını 
söylemiştim.
Yazdığımız çoğu şey,
insanların yaptığı şeyler ve
başkalarının bunlardan
dolayı üzülmesi ile ilgili.
Yani öğrenilecek birçok şey var.
Ayrıca bunu 
gerçekleştirmek için
güçlü bir ekonomik itki de var.
Evcil robotunuzun
evinizde olduğunu varsayın.
Yine evinize geç gelmişsiniz ve
robotun çocuklara yemek yedirmesi lazım.
Çocuklar aç ve buzdolabında
hiçbir şey yok.
Robot kedinizi görüyor.
(Gülüşmeler)
Robot henüz insanların değer yargılarını
tam olarak kullanmayı
öğrenemediğinden,
kedinin duygusal değerinin, 
kedinin besin değerinden
daha ağır bastığını anlamıyor.
(Gülüşmeler)
O zaman ne olur?
Şöyle bir son dakika haberi:

French: 
« Je te quitte.
Fais-toi à dîner toi-même. »
(Rires)
Nous devons résoudre ces problèmes
et je suis impatient
de travailler là-dessus.
Nous avons des raisons
d'être optimistes.
La première, c'est que
nous disposons d'une masse de données.
Parce que, souvenez-vous,
j'ai dit que l'IA va lire tout
ce que l'homme a jamais écrit.
La plupart du temps,
nous écrivons sur ce que les humains font
et sur les gens que ça contrarie.
Alors il y a une masse de données
dans laquelle puiser.
Il y a également une très forte
incitation économique à cela.
Donc,
imaginez votre robot domestique.
Vous êtes en retard au travail
et le robot doit nourrir les enfants,
les enfants ont faim
et il n'y a rien dans le réfrigérateur.
Le robot voit le chat.
(Rires)
Le robot n'a pas bien appris
les valeurs humaines,
donc il ne comprend pas
que la valeur sentimentale du chat
l'emporte sur sa valeur nutritionnelle.
(Rires)
Que se passe-t-il ?
Eh bien, que se passe-t-il ?

Japanese: 
「行くことに致しましたので 
夕食はご自分で作ってください」
(笑)
こういった問題を
解かなければなりません
そういう問題に取り組むのは
楽しみです
楽観しているのには
理由があります
１つには
膨大なデータがあること
思い出してください
機械は人類が書いたあらゆるものを
読むことになるでしょう
人間の書いたものはたいがい
誰かが何かをし 
他の人がそれに腹を立てたというものです
学べるデータが膨大にあります
また これを正しくやるための
強い経済的インセンティブが
存在します
家に家事ロボットがいると
想像してください
あなたはまた仕事で帰りが遅く 
ロボットは子供達に食べさせなければなりません
子供達はお腹を空かせていますが 
冷蔵庫は空っぽです
そこでロボットは
猫に目を止めます
(笑)
ロボットは人間の価値観を
ちゃんと学んでいないため
猫の持つ感情的価値が
猫の栄養的価値を上回ることを
理解しません
(笑)
するとどうなるでしょう？
「狂ったロボット 
子猫を料理して夕食に出す」

Arabic: 
"أنا ذاهب إلى هناك!
اصنع طعامكَ بنفسك!"
(ضحك)
لذا، يجبُ أن نَحُلّ هذهِ المشاكل،
وأنا متحمّسٌ للعملِ عليهم.
هناكَ أسبابٌ تدفعني للتفاؤل
و أحدُ هذه الأسباب:
حجمُ البياناتِ الهائلُ الذي نمتلكهُ.
لأنَّ الروبوتاتِ كما أخبرتكم
ستقرأُ كلّ شيءٍ
قامَ البشرُ بكتابته.
ومعظمُ ما نكتبُ عنهُ
هو قصصٌ عن أناسٍ يرتكبون أخطاءً
وآخرين تزعجهم هذهِ الأخطاء.
لذا ستتمكّن الروبوتاتُ
منْ تعلّمِ كلِّ هذا.
ولدينا كذلكَ دافعٌ اقتصاديٌّ كبيرٌ
لإتمامِ الأمرِ دونَ أخطاء.
تخيّلو مثلاً روبوتَكم المنزليَّ
وقد تأخرتم في عملكم مجدداً
لكنَّ على الروبوتَ أن يطعم أبناءكم،
والأطفال جائعون لكنّ الثلّاجةَ فارغة.
سيبجثُ الروبوتُ عن أيِّ طعامٍ
وسيرى القطة.
(ضحك)
لكنّه لم يتعلّم بعدُ
قِيَمَكُم الإنسانيّة جيّداً
لذا لن يفهم
بأنَّ القيمة العاطفيّة للقطّةِ
تفوقُ قيمتها الغذائيّة.
(ضحك)
ماذا سيحصل عندها؟
في الواقع، سينتهي الأمرُ هكذا:

Chinese: 
“所以我要离开了。
你自己做饭去吧。”
（笑声）
我们得解决这些问题，
我也很期待去解决。
我们有理由感到乐观。
理由之一是
我们有大量的数据，
记住，我说过机器将能够阅读一切
人类所写下来的东西，
而我们写下的大多数是
我们做的什么事情，
以及其他人对此有什么意见。
所以机器可以从大量的数据中去学习。
同时从经济的角度，
我们也有足够的动机
去把这件事做对。
想象一下，你家里有个居家机器人，
而你又得加班，
机器人得给孩子们做饭,
孩子们很饿，
但冰箱里什么都没有。
然后机器人看到了家里的猫，
（笑声）
机器人还没学透人类的价值论，
所以它不知道
猫的感情价值
大于猫的营养价值。
（笑声）
接下来会发生什么？
差不多是这样的：

Italian: 
"Quindi me ne vado. Preparati tu la cena."
(Risate)
Dobbiamo risolvere questi problemi,
e non vedo l'ora di lavorarci.
Ci sono motivi per essere ottimisti.
Un motivo è,
c'è una grande quantità di dati.
Perché ricordate -- 
ho detto che leggeranno tutto ciò
che la razza umana ha scritto.
Gran parte di ciò che scriviamo
è su uomini che fanno cose
e altri che se la prendono per questo.
Quindi c'è una grande mole di dati
da cui imparare.
C'è anche un incentivo
economico molto forte
per farlo bene.
Immaginate il vostro robot domestico
a casa.
Siete ancora in ritardo dal lavoro
e il robot deve sfamare i bambini,
e i bambini sono affamati
e non c'è niente nel frigo.
E il robot vede il gatto.
(Risate)
E il robot non ha ancora imparato
i valori umani in modo corretto,
quindi non capisce
che il valore sentimentale del gatto
supera il suo valore nutrizionale.
(Risate)
Quindi cosa succede?
Be', succede questo:

Chinese: 
「所以我要走了。你自己做飯去吧。」
（笑聲）
我們得解決這類的問題，
我也很期待能解決這樣的問題。
我們有理由感到樂觀。
理由之一是，
我們有大量的數據資料。
記住，我說過機器將能夠
閱讀所有人類寫下來的東西。
而我們寫下的文字大都類似於
「人類做了一些事情
導致其他人對此感到沮喪」。
所以機器可以從
大量的數據中去學習。
同時從經濟的角度，
我們也有足夠的動機去做好這件事。
想像一下，你家裡有個居家機器人。
而你又得加班，
機器人得給孩子們做飯，
孩子們很餓，
但冰箱裡什麽都沒有。
然後機器人看到了家裡的貓。
（笑聲）
機器人還沒學透人類的價值觀。
所以它不知道，
貓的情感價值大於其營養價值。
（笑聲）
接下來會發生什麽事？
頭版頭條可能會是這樣：

Korean: 
"저는 이제 전원을 끄겠습니다. 
저녁은 알아서 드세요."
(웃음)
우리는 이런 문제들을 해결해야 합니다.
그리고 해결되리라고 기대합니다.
제가 낙관하는 이유가 있습니다.
그 중 하나는
정말 방대한 양의 정보가 있다는 거죠.
기계들은 인류가 기록해 둔 모든 
자료를 읽어 들일 것입니다.
우리가 기록한 자료 대부분은
누가 무엇을 했고 
누가 그 일에 반대했는가에 
관한 것들입니다.
이런 방대한 양의 정보에서
배울 점이 있습니다.
이를 통해 엄청난 
경제적 이득을 볼 수 있죠.
제대로 활용한다면요.
자, 여러분 집에 가정부 
로봇이 있다고 상상해보세요.
여러분이 야근으로 귀가가 늦어졌고,
로봇이 아이들의 식사를 챙겨야 합니다.
아이들은 배가 고프고 
냉장고에는 먹을 게 없습니다.
그때 로봇은 고양이를 쳐다봅니다.
(웃음)
그리고 이 로봇은 인간의 가치 평가 
방식을 아직 제대로 배우지 않았습니다.
그래서 고양이의 영양학적 가치보다
인간이 고양이를 아끼는 감성적 가치가
더 중요하다는 것을 이해하지 못합니다.
(웃음)
어떤 일이 일어날까요?
음, 이런 일이 일어날 겁니다.

Hungarian: 
"Szóval én távoztam.
Csinálj magadnak vacsorát!"
(Nevetés)
Ezeket a problémákat
még meg kell oldanunk,
de alig várom, hogy dolgozhassak rajtuk.
Több okunk is van optimizmusra.
Az első,
hogy rengeteg adat áll rendelkezésre.
Mert mindent el fognak olvasni,
amit az emberi faj valaha is írt.
Az írásaink zöme arról szól,
hogy emberek tesznek valamit,
és ettől más emberi lények dühösek.
Rengeteg ismeretanyag van,
amiből tanulni lehet.
Továbbá van egy nagyon erős
gazdasági nyomás,
hogy ezt jól valósítsuk meg.
Képzeljük el az otthoni
háztartási robotunkat.
Megint későn érünk haza,
a robotnak kell megetetnie a gyerekeket.
A gyerekek éhesek, de üres a hűtőszekrény.
Ekkor a robot meglátja a macskát.
(Nevetés)
Mivel a robot nem sajátította el
elég jól az emberi értékrendet,
nem érti,
hogy a macska szentimentális értéke
túlmutat a tápértékén.
(Nevetés)
Vajon mi történik?
Valami ilyesmi:

Spanish: 
"Así que me voy, hágase su propia cena".
(Risas)
Así que tenemos que
resolver estos problemas,
y tengo ganas de trabajar en ellos.
Hay razones para ser optimistas.
Una razón es que hay 
gran cantidad de datos
Recuerden, leerán todo lo que 
la raza humana ha escrito.
La mayoría de lo que escribimos
trata sobre humanos haciendo cosas
y cómo estas molestan a otras personas.
Así que hay muchos datos
de los que aprender.
También hay un fuerte incentivo económico
para que esto funcione bien.
Imagine que su robot 
doméstico está en casa
Ud. llega tarde del trabajo,
el robot tiene que dar 
de comer a los niños,
los niños tienen hambre
y no hay nada en la nevera.
Y el robot ve al gato.
(Risas)
Y el robot no ha aprendido del todo bien
la función del valor humano
por lo que no entiende
que el valor sentimental del gato supera
el valor nutricional del gato.
(Risas)
Entonces, ¿qué pasa?
Bueno, sucede lo siguiente:

English: 
"So I'm leaving. Make your own dinner."
(Laughter)
So we have to solve these problems,
and I'm looking forward
to working on them.
There are reasons for optimism.
One reason is,
there is a massive amount of data.
Because remember -- I said
they're going to read everything
the human race has ever written.
Most of what we write about
is human beings doing things
and other people getting upset about it.
So there's a massive amount
of data to learn from.
There's also a very
strong economic incentive
to get this right.
So imagine your domestic robot's at home.
You're late from work again
and the robot has to feed the kids,
and the kids are hungry
and there's nothing in the fridge.
And the robot sees the cat.
(Laughter)
And the robot hasn't quite learned
the human value function properly,
so it doesn't understand
the sentimental value of the cat outweighs
the nutritional value of the cat.
(Laughter)
So then what happens?
Well, it happens like this:

German: 
"Also gehe ich.
Machen Sie Ihr Essen selbst."
(Gelächter)
Wir müssen also diese Probleme lösen
und ich freue mich darauf,
daran zu arbeiten.
Es gibt Anlass zur Hoffnung.
Ein Anlass ist
die enorme Menge an Daten.
Wie gesagt, sie werden alles lesen,
was geschrieben wurde.
Der Großteil davon ist
über Menschen und ihre Taten
und die Reaktionen anderer.
Also kann man von vielen Daten lernen.
Es gibt auch wirtschaftliche Anreize,
das hinzubekommen.
Z. B. Haushaltsroboter.
Sie sind wieder zu spät und der Roboter
soll den Kindern Essen machen.
Die Kinder haben Hunger
und der Kühlschrank ist leer.
Und der Roboter sieht die Katze.
(Gelächter)
Der Roboter hat die menschliche
Wertefunktion noch nicht so ganz gelernt
und versteht somit nicht,
dass der sentimentale Wert der Katze
ihren Nährwert übertrifft.
(Gelächter)
Was passiert also?
Es passiert etwa so etwas:

Vietnamese: 
"Nên tôi đi đây. 
Tự làm bữa tối của anh đi."
(Cười)
Vậy chúng ta phải xử lý 
những vấn đề như thế này,
và tôi rất nóng lòng được 
làm việc với chúng.
Có những lý do để mà lạc quan.
Một lý do là,
có một lượng khổng lồ dữ liệu ngoài kia.
Bởi vì như tôi đã nói,
chúng sẽ đọc hết tất cả mọi thứ trên đời.
Hầu hết những gì chúng ta viết là về
những việc làm của nhân loại
và sau đó những người khác 
cảm thấy phiền lòng về nó.
Do đó có một lượng 
khổng lồ dữ liệu để học tập.
Đồng thời có một động lực kinh tế rất lớn
để làm đúng việc này.
Hãy tưởng tượng robot gia đình ở nhà bạn.
Bạn lại đi làm về trễ 
và robot phải nấu ăn cho bọn trẻ,
bọn trẻ thì đang đói 
và không còn thứ gì trong tủ lạnh.
Và robot nhìn thấy con mèo.
(Cười)
Và robot này chưa được học hoàn toàn 
về các giá trị của con người,
nên nó không thể hiểu được rằng
các giá trị tình cảm của con mèo 
lớn hơn hẳn giá trị dinh dưỡng của nó.
(Cười)
Vậy sau đó chuyện gì xảy ra?
Chà, nó xảy ra như thế này:

Modern Greek (1453-): 
«Οπότε, φεύγω. Μαγείρεψε μόνος σου».
(Γέλια)
Πρέπει να λύσουμε
αυτά τα προβλήματα
και ανυπομονώ να δουλέψω πάνω σε αυτά.
Υπάρχουν λόγοι να αισιοδοξούμε.
Ένας λόγος είναι,
πως υπάρχουν 
τεράστιες ποσότητες δεδομένων.
Θυμηθείτε πως είπα ότι
πρόκειται να διαβάσουν
οτιδήποτε έχει γραφτεί ποτέ.
Τα περισσότερα που έχουν γραφτεί
είναι για ανθρώπους να δρουν
και άλλους να εκνευρίζονται με αυτό.
Οπότε υπάρχουν τεράστιες ποσότητες
δεδομένων από όπου θα μάθουν.
Υπάρχει επίσης ένα ισχυρό,
οικονομικό κίνητρο
ώστε να πετύχει αυτό.
Φανταστείτε το οικιακό σας ρομπότ.
Έχετε καθυστερήσει πάλι στη δουλειά,
αυτό πρέπει να ταΐσει τα παιδιά
τα οποία είναι πεινασμένα
και δεν υπάρχει τίποτα στο ψυγείο.
Και το ρομπότ βλέπει τη γάτα.
(Γέλια)
Το ρομπότ, όμως, δεν έχει μάθει
σωστά τη λειτουργία των ανθρώπινων αξιών
και δεν καταλαβαίνει
ότι η συναισθηματική αξία της γάτας
υπερισχύει της θρεπτικής της αξίας.
(Γέλια)
Τι συμβαίνει τότε, λοιπόν;
Συμβαίνει κάτι τέτοιο,

Persian: 
"ربات ظالم، برای شام خانواده گربه می‌پزد"
این حادثه احتمالا
پایان صنعت ربات‌های خانگی باشد.
پس انگیزه زیادی
برای درست شدن این موضوع وجود دارد.
خیلی زودتر از اینکه
به ماشین‌های فوق هوشمند برسیم.
پس برای جمع بندی:
من در اصل دارم سعی میکنم
که تعریف هوش مصنوعی رو طوری عوض کنم
که ماشین های سودمندی داشته باشیم.
و این اصول عبارتند از:
ماشین‌ها نوع دوست هستند.
و فقط میخوان به اهدافی که ما داریم برسن.
ولی درباره چیستی این اهداف مطمئن نیستند.
و به ما نگاه میکنند
تا یادبگیرند
این اهدافی که ما میخواهیم چه هستند.
و امیدوارم در این فرآیند،
ما هم یادبگیریم که مردم بهتری باشیم.
خیلی ممنون.
(تشویق حاضرین)
کریس اندسون: خیلی جالب بود استوارت.
ما یکم باید اینجا وایستیم
چون عوامل دارن صحنه رو
برای سخنرانی بعدی آماده میکنن.
چندتا سوال:
ایده برنامه‌ریزی در بی خبری 
به نظر خیلی قدرتمند میاد.
وقتی که که به هوش قوی برسیم.
چه چیزی مانع رباتی میشه که

Chinese: 
「瘋狂機器人煮了貓咪當晚餐！」
這場意外就足以結束
整個居家機器人的產業。
所以在我們實現超級 AI 之前，
我們有足夠的動機把它做對做好。
總結來說：
我事實上想要改變人工智慧的定義，
這樣我們就可以製造出
對我們有益無害的機器人。
這三個原則是：
機器是利他的，
只想著實現我們的目標，
但它不確定我們的目標是什麽，
並且它會觀察我們，
從中學習我們想要的究竟是什麽。
希望在這個過程中，
我們也能學會成為更好的人。
謝謝大家。
（掌聲）
克里斯安德森：非常有意思，斯圖爾特。
趁工作人員為下一位講者佈置的時候，
我們先站在這裡聊幾句。
我有幾個問題。
將「無知」編寫到程式中，
這種思想真的很有衝擊力。
當機器人有超級智慧時，

French: 
« Le robot fou cuisine le chat
de la famille pour le dîner. »
Cet incident sonnerait la fin
de l'industrie du robot domestique.
Il y a donc une incitation énorme
à régler cela
bien avant que nous n'arrivions
aux machines supra-intelligentes.
Pour résumer.
J'essaie de modifier la définition de l'IA
afin que nous ayons des machines
irréfutablement bénéfiques.
Les principes sont :
des machines altruistes,
ne cherchant qu'à atteindre nos objectifs,
mais ayant une incertitude
quant à ces objectifs
et qui nous observerons
afin d'en savoir plus sur
ce que nous voulons vraiment.
J'espère que dans le processus, nous
apprendrons aussi à devenir meilleurs.
Merci beaucoup.
(Applaudissements)
Chris Anderson :
Très intéressant, Stuart.
Nous allons rester un peu ici,
car je crois qu'ils préparent
la prochaine intervention.
Plusieurs questions.
L'idée d'une programmation limitée
semble intuitivement très puissante.
En se rapprochant
de la supra-intelligence,
qu'est-ce qui empêchera un robot

Japanese: 
みたいな見出しを
見ることになります
このような出来事１つで
家事ロボット産業はお終いです
だから超知的な機械に到達する
ずっと以前に
この問題を正すよう
大きなインセンティブが働きます
要約すると
私はAIの定義を変えて
人間のためになると証明可能な機械が
得られるよう試みています
その原則は
機械は利他的であり
人間の目的のみを
達成しようとするが
その目的が何かは
確信を持たず
そしてすべての人間を
観察することで
我々の本当に望むことが何かを学ぶ
ということです
その過程で 人類がより良い者になる術を
学ぶことを望みます
ありがとうございました
(拍手)
(クリス・アンダーソン) すごく興味深いね 
スチュワート
次のスピーカーのための
準備があるので
少しここで話しましょう
質問があるんですが
「無知にプログラムする」というアイデアは
とても強力であるように思えます
超知的になったロボットが
文献を読んで

iw: 
"הרובוט המטורף
מבשל את החתול לארוחת ערב משפחתית".
ארוע אחד שכזה יהיה סופה 
של תעשיית רובוטים ביתיים.
לכן, ישנה סיבה ממש טובה לעשות הכל נכון.
הרבה לפני שנגיע לשלב מכונות עם תבונת-על.
לסיכום:
אני מנסה לשנות את הגדרת ב''מ,
כך שנייצר מכונות שתהיינה בהחלט טובות לנו.
והרי העקרונות:
מכונות שהן אלטרויסטיות,
שרוצות לממש את המשימות שלנו בלבד,
אבל אינן בטוחות מה הן המשימות הללו
ושתתבוננה בכולנו
כדי ללמוד יותר 
על מה שאנחנו רוצים באמת.
נקווה שתוך כדי כך 
נלמד להיות אנשים טובים יותר.
תודה רבה.
(מחיאות כפיים)
כריס אנדרסון (כ.א.):
זה כל כך מעניין, סטוארט.
בוא רגע נעמוד פה
כי אני חושב שהמארגנים מתכוננים
לדובר הבא.
מספר שאלות.
רעיון הטמעת בורות 
מרגיש ממש עוצמתי.
אבל, כאשר נגיע לשלב תבונת-על
מה ימנע מרובוט

Portuguese: 
"Robô louco cozinha gatinho
para o jantar".
Esse único incidente seria o fim
da indústria de robôs domésticos.
Há um enorme incentivo para resolver isso
antes de chegarmos
aos computadores superinteligentes.
Em resumo:
estou tentando realmente
mudar a definição de IA
para que tenhamos computadores úteis.
Os princípios são:
computadores altruístas,
que querem alcançar
apenas nossos objetivos,
mas estão incertos sobre quais são eles,
e irão observar todos nós
para aprender mais
sobre o que realmente queremos.
E tomara que no processo,
aprendamos a ser pessoas melhores.
Muito obrigado.
(Aplausos)
Chris Anderson: Interessante, Stuart.
Ficaremos aqui um pouco
porque acho que estão preparando
para o próximo palestrante.
Algumas questões.
A ideia de programar na ignorância
parece realmente convincente.
Ao chegar à superinteligência,

Hungarian: 
"A zsarnok robot feltálalta
vacsorára a család cicáját."
Egyetlen ilyen fiaskó
a háztartási robotipar végét jelentené.
Szóval nagy nyomás van rajtunk,
hogy ügyesen kezeljük ezt,
még jóval azelőtt, hogy elérnénk
a szuperintelligens gépekig.
Összefoglalva tehát:
megpróbálom megváltoztatni
a MI definícióját úgy,
hogy bizonyíthatóan hasznunkra
levő gépeket jelentsenek.
Az alapelvek pedig:
a gépek altruisták,
azaz csak a mi céljaink
elérésével foglalkoznak,
miközben bizonytalanok a mi céljainkban,
de figyelnek minket,
hogy megértsék, mit is akarunk valójában.
És remélhetően ebben a folyamatban
mi is jobb emberekké válunk.
Nagyon köszönöm.
(Taps)
Chris Anderson: Nagyon érdekes, Stuart.
Álljunk arrébb kicsit, mert rendezkednek
a következő előadó miatt.
Pár kérdés.
Ez a tudatlanság alapú programozás
elég hatékony dolognak tűnik.
Ha elérjük a szuperintelligenciát,
mi akadályozza meg a robotot abban,

Chinese: 
头版头条：“疯狂的机器人
把猫煮了给主人当晚饭！”
这一个事故就足以结束
整个居家机器人产业。
所以我们有足够的动机在我们实现
超级智能机器让它更加完善。
总结来说：
我想要改变人工智能的定义，
让我们可以证明机器对我们是有利的。
这三个原则是：
机器是利他的，
只想着实现我们的目标，
但它不确定我们的目标是什么，
所以它会观察我们，
从中学习我们想要的究竟是什么。
希望在这个过程中，
我们也能学会成为更好的人。
谢谢大家。
（掌声）
克里斯安德森：
非常有意思，斯图尔特。
我们趁着工作人员
为下一位演讲者布置的时候
来简单聊几句。
我有几个问题。
从直觉上来看，将无知编入到程序中
似乎是一个很重要的理念，
当你要实现超级智能时，
什么能阻止机器人？

Vietnamese: 
"Một robot điên loạn nấu mèo con
cho bữa tối của gia đình."
Một sự cố như thế có thể 
sẽ chấm dứt ngành robot gia đình.
Do đó có một động lực rất lớn 
để làm việc này đúng trong thời gian dài
trước khi chúng ta đạt tới 
máy móc siêu thông minh.
Vậy để tổng kết lại:
Tôi thực ra đang cố 
thay đổi định nghĩa về AI
để chúng ta có những máy móc 
được chứng minh là có hiệu quả.
Và những nguyên tắc là:
những chiếc máy hoàn toàn vị tha,
chỉ muốn đạt được mục đích của chúng ta,
nhưng chúng không chắc chắn 
những mục tiêu này là gì,
và sẽ theo dõi tất cả chúng ta
để hiểu thêm về những gì 
chúng ta thực sự muốn.
Và mong rằng trong quá trình đó,
ta cũng học hỏi để trở nên tốt đẹp hơn.
Cảm ơn rất nhiều.
(Vỗ tay)
Chris Anderson: Rất thú vị, Stuart.
Chúng ta sẽ đứng đây thêm chút nữa 
vì tôi nghĩ họ đang chuẩn bị 
cho diễn giả tiếp theo.
Đây là một số câu hỏi.
Vậy ý tưởng lập trình với sự thiếu hụt 
thông tin có vẻ như rất mạnh mẽ.
Nhưng khi ta có siêu trí tuệ,
điều gì sẽ ngăn cản robot

Russian: 
«Ненормальный робот готовит
котёнка на семейный ужин».
Этот инцидент положил бы конец
производству домашних роботов.
Так что у нас есть огромный стимул
сделать всё правильно
до того, как мы создадим
суперумную машину.
Итак, подытожим.
По сути, я пытаюсь
изменить определение ИИ,
чтобы наши машины
были действительно полезными.
Основные моменты:
это альтруистичные машины,
которые хотят добиваться лишь наших целей,
но не знают, каких именно целей,
и будут наблюдать за всеми нами,
чтобы узнать, чего мы на самом деле хотим.
Надеюсь, в процессе мы сами станем лучше.
Большое спасибо.
(Аплодисменты)
Крис Андерсон: Очень интересно, Стюарт.
Мы задержимся здесь немного,
потому что, сейчас идёт подготовка
к следующему выступлению.
Пара вопросов.
Идея программирования незнания
подсознательно кажется очень мощной.
Что помешает роботу,

Arabic: 
"روبوتٌ مختلٌّ قامَ بطبخِ
قطّة المنزلِ على العشاء"
حادثٌ واحدٌ كهذا كفيلٌ بإنهاء
صناعة الروبوتات المنزلية.
لهذا لدينا دافعٌ حقيقيٌّ
لإتمام الأمرِ دون أخطاء
حتّى قبلَ أن نتمكّن من اختراعِ
أيّ آلة خارقِة الذكاء.
إذاً كخلاصةٍ لكلامي:
أنا أحاولُ بجديّةٍ
تغييرَ تعريفِ الذّكاءِ الاصطناعي
بحيثُ يمكننا اختراعُ آلاتٍ
ذاتَ فائدةٍ مثبتةٍ علميّاً.
و ما أقترحهُ كتعريف:
آلاتٌ تؤثرُ دوماً مصلحةَ البشر،
و تسعى لتحقيقِ أهدافنا فقط،
لكنّها ليست متأكّدةً
من صحّةِ فهمها لهذهِ الأهداف،
لذا ستقومُ بمراقبتنا على الدوام
لكيّ تتعلّمَ أكثرَ عمّا نريدها
أنْ تساعدنا فيهِ حقّاً.
وآمُلُ أنْ نتعلّم نحنُ أيضاً
مِنْ هذهِ التجاربِ كيفَ نصبحُ أناساً أفضل.
شكراً لكم.
(تصفيق)
كريس أندرسون: هذا مشوّق جدّاً، ستيوارت.
سنبقى على المنصّةِ قليلاً،
لأنهم بصدد الإعداد للمحادثة التالية.
لديَّ بعضُ الأسئلة:
إذن فكرة البرمجة عن جهل
تببدو للوهلة الأولى رهيبةً.
ونحن نتجه نحو الذكاء الخارق،

German: 
"Unzurechnungsfähiger Roboter
kocht Kätzchen zum Abendessen."
Dieser eine Vorfall wäre das Aus
der Haushaltsroboter-Industrie.
Es gibt also einen großen Anreiz,
das herauszubekommen,
lange bevor wir superintelligente
Maschinen herstellen.
Zusammenfassend:
Ich will die Definition von KI ändern,
sodass wir nachweislich
vorteilhafte Maschinen haben.
Die Grundsätze sind:
Maschinen sind altruistisch,
wollen nur unsere Ziele erreichen,
aber wissen nicht genau,
was diese Ziele sind,
also beobachten sie uns alle,
um besser zu lernen,
was wir wirklich wollen.
Hoffentlich werden wir dadurch lernen,
bessere Menschen zu sein.
Vielen Dank.
(Beifall)
Chris Anderson: Sehr interessant, Stuart.
Wir haben etwas Zeit,
weil alles für den nächsten Redner
vorbereitet wird.
Ein paar Fragen.
Die Idee, Unwissenheit vorzuprogrammieren,
erscheint intuitiv wirksam.
Wenn man Superintelligenz erreicht,

Korean: 
"미친 로봇이 저녁 메뉴로
고양이를 요리했다"
이 사건 하나로 가정용 로봇 
업계는 망해버릴 수 있습니다.
따라서 초지능을 가진 
로봇이 출현하기 전에
이걸 바로 잡는 것이 무척 중요합니다.
자, 요약을 하자면
저는 인공지능에 대한 정의를
바꾸기 위해 노력합니다.
그래야만 정말 도움이 되는
로봇들을 가질 수 있을 겁니다.
여기에는 기본 원칙이 있죠.
로봇은 이타적이어야 하고
우리가 원하는 목적만을 
이루려고 해야 합니다.
하지만 그 목적이 정확히 
무엇인지 몰라야 합니다.
그리고 우리 인간을 잘 살펴야 하죠.
우리가 진정 무엇을 원하는지 
이해하기 위해서입니다.
그리고 그 과정에서 우리는 더 나은
사람이 되는 법을 배우게 될 것입니다.
감사합니다.
(웃음)
CA: 정말 흥미롭네요. 스튜어트.
다음 강연 순서를 준비하는 동안에
잠깐 이야기를 나누겠습니다.
몇 가지 질문이 있는데요.
무지한 상태에서 프로그래밍한다는 게
무척 대단하다고 생각됩니다.
초지능 연구를 하고 계시는데요.
로봇의 이런 부분을 막을 수 있을까요?

English: 
"Deranged robot cooks kitty
for family dinner."
That one incident would be the end
of the domestic robot industry.
So there's a huge incentive
to get this right
long before we reach
superintelligent machines.
So to summarize:
I'm actually trying to change
the definition of AI
so that we have provably
beneficial machines.
And the principles are:
machines that are altruistic,
that want to achieve only our objectives,
but that are uncertain
about what those objectives are,
and will watch all of us
to learn more about what it is
that we really want.
And hopefully in the process,
we will learn to be better people.
Thank you very much.
(Applause)
Chris Anderson: So interesting, Stuart.
We're going to stand here a bit
because I think they're setting up
for our next speaker.
A couple of questions.
So the idea of programming in ignorance
seems intuitively really powerful.
As you get to superintelligence,
what's going to stop a robot

Modern Greek (1453-): 
«Ανεξέλεγκτο ρομπότ μαγειρεύει
γατάκι για οικογενειακό δείπνο».
Αυτό το συμβάν είναι αρκετό για το τέλος
της βιομηχανίας οικιακών ρομπότ.
Άρα υπάρχει ένα ισχυρό κίνητρο
για να επιτευχθεί σωστά η έρευνα
πολύ πριν φτάσουμε
στις υπερ-ευφυείς μηχανές.
Για να συνοψίσω,
Προσπαθώ να αλλάξω τον ορισμό της ΤΝ
ώστε να έχουμε πιθανά ωφέλιμες μηχανές.
Και οι αρχές είναι,
ανιδιοτελείς μηχανές
που θέλουν να πετύχουν
μόνο το δικό μας σκοπό
και που είναι αβέβαιες
για το ποιος είναι αυτός ο σκοπός
και που θα μας παρακολουθούν όλους
για να μάθουν περισσότερα
για το τι πραγματικά θέλουμε.
Αν όλα πάνε καλά, στη πορεία θα μάθουμε
πώς να γίνουμε καλύτεροι άνθρωποι.
Σας ευχαριστώ πολύ.
(Χειροκρότημα)
Κρις Άντερσον: Πολύ ενδιαφέρον, Στιούαρτ.
Θα περιμένουμε λιγάκι εδώ
διότι νομίζω πως ετοιμάζονται
για τον επόμενο ομιλητή.
Μερικές ερωτήσεις.
Η ιδέα του προγραμματισμού εν αγνοία
φαίνεται ενστικτωδώς πολύ ισχυρή.
Όσο προχωράς προς την υπερνοημοσύνη,
τι πρόκειται να σταματήσει ένα ρομπότ

Turkish: 
''Bozuk robot akşam yemeği
için kediyi pişirdi.''
Böyle tek bir olay, evcil robot
endüstrisinin sonu olurdu.
Bu yüzden süper-zeki makinelerden önce
bunu hatasız yapmamız gerekiyor.
Kısaca özetleyecek olursak:
Ben yapay zekanın tanımını
değiştirmeye çalışıyorum,
ki yararları kanıtlanmış
makinelere sahip olabilelim.
İlkeler şunlar:
Fedakâr makineler,
sadece bizim hedeflerimize 
ulaşmak istesinler.
Ama bu hedeflerin ne olduğundan
emin olmasınlar
ve öğrenmek için
hepimizi izleyip, gerçekte
ne istediğimizi anlasınlar.
Biz de ümit ederim ki bu süreçte
daha iyi insanlar olmayı öğrenelim.
Çok teşekkür ederim.
(Alkışlar)
Chris Anderson: Bu çok ilginçti Stuart.
Seninle biraz burada duracağız,
çünkü sanırım bir sonraki konuşmacı
için sahneyi kuruyorlar.
Sana birkaç sorum var.
Robotlara cehaleti de programlamak 
içgüdüsel olarak çok güçlü bir fikir
gibi duruyor.
Süper-zekaya yaklaştıkça

Italian: 
"Robot folle cucina il micio
per la cena di famiglia."
Quell'unico incidente sarebbe la fine
dell'industria del robot domestico.
Quindi c'è un enorme incentivo
per farlo bene
molto prima che arriviamo
alle macchine super intelligenti.
Quindi per riassumere:
sto cercando di cambiare
la definizione di IA
così che probabilmente
avremo macchine vantaggiose.
E i principi sono:
macchine che siano altruiste,
che vogliono raggiungere
solo i nostri obiettivi,
ma che sono incerti
sui loro obiettivi,
e che guarderanno tutti noi
per imparare di più
su cosa vogliamo veramente.
E se tutto va bene, in tutto ciò
impareremo ad essere persone migliori.
Grazie tante.
(Applausi)
C. Anderson: Molto interessante, Stuart.
Staremo qui un po'
perché credo che stiano preparando
per il prossimo relatore.
Un paio di domande.
L'idea di programmare nell'ignoranza
sembra intuitivamente molto potente.
Quando giungi alla super intelligenza,

Spanish: 
"Robot desquiciado cocina a un gatito
para la cena familiar".
Ese único incidente acabaría
con la industria de robots domésticos.
Así que hay un gran incentivo
para hacer esto bien.
mucho antes de llegar
a las máquinas superinteligentes.
Así que para resumir:
Estoy intentando cambiar
la definición de IA
para que tengamos máquinas
demostrablemente beneficiosas.
Y los principios son:
Máquinas que son altruistas,
que desean lograr solo nuestros objetivos,
pero que no están seguras
de cuáles son esos objetivos
y nos observarán a todos
para aprender qué es
lo que realmente queremos.
Y con suerte, en el proceso, 
aprenderemos a ser mejores personas.
Muchas gracias.
(Aplausos)
Chris Anderson: Muy interesante, Stuart.
Vamos a estar aquí un poco
porque creo que están preparando
a nuestro próximo orador.
Un par de preguntas.
La idea de programar ignorancia
parece intuitivamente muy poderosa.
Al llegar a la superinteligencia,

German: 
was soll einen Roboter davon abhalten,
Literatur zu lesen und
auf die Idee zu kommen,
dass Wissen besser ist als Unwissenheit
und seine eigenen Ziele anzupassen
und sich umzuprogrammieren?
Stuart Russel: Wir wollen,
wie gesagt, dass er dazulernt,
was unsere Ziele betrifft.
Er wird sich sicherer werden,
wenn er fehlerloser wird,
also gibt es Hinweise
und er ist dazu konzipiert,
sie richtig zu interpretieren.
Er wird verstehen, dass Bücher einseitig
in ihrer Darstellung sind.
Sie handeln nur von Königen und Prinzen
und mächtigen weißen
Männern und ihren Taten.
Es ist ein kompliziertes Problem,
aber wenn er mehr über unsere Ziele lernt,
wird er zunehmend nützlicher für uns.
CA: Kann man das nicht zu
einem Gesetz zusammenfassen,
vorprogrammiert:
"Wenn ein Mensch versucht,
mich abzuschalten,
gehorche ich. Ich gehorche."
SR: Auf keinen Fall,
das wäre eine schlechte Idee.

Chinese: 
当它在阅读和学习的过程中发现，
知识比无知更强大，
然后就改变它的目标
去重新编写程序呢？
斯图尔特拉塞尔：是的，
我们想要它去学习，就像我说的，
学习我们的目标。
它只有在理解得越来越正确的时候，
才会变得更确定，
我们有证据显示，
它的设计使它能按正确的方式理解。
比如说，它能够理解书中的论证是
带有非常强的偏见的。
书中只会讲述国王、王子
和那些精英白人男性做的事。
这是一个复杂的问题，
但当它更深入地学习我们的目标时，
它就变得对我们更有用。
CA：那你不能把这些
都集中在一条准则里吗？
把这样的命令写在它的程序里：
“如果人类什么时候想把我关掉，
我服从。我服从。”
SR：绝对不行，
那将是一个很糟糕的主意。

French: 
de lire la littérature et de découvrir
cette notion que la connaissance
est en fait supérieure à l'ignorance
et de changer ses propres objectifs
en réécrivant cette programmation ?
Stuart Russell : Oui, nous voulons qu'il
en apprenne davantage, comme je l'ai dit,
à propos de nos objectifs.
Il gagnera en confiance
avec l'expérience,
la preuve est là,
et il sera conçu pour interpréter
correctement nos objectifs.
Il comprendra, par exemple,
que les livres sont très biaisés
en fonction de leur contenu.
Ils ne parlent que de rois et de princes
et des choses
que fait l'élite blanche.
C'est donc un problème complexe,
mais comme il en apprend plus
sur nos objectifs,
il nous sera de plus en plus utile.
CA : Et vous ne pourriez pas
résumer cela en une seule loi,
vous savez, une ligne de code :
« Si un humain essaie de me débrancher,
je coopère, je coopère. »
SR : Impossible.
Ce serait une mauvaise idée.

English: 
reading literature and discovering
this idea that knowledge
is actually better than ignorance
and still just shifting its own goals
and rewriting that programming?
Stuart Russell: Yes, so we want
it to learn more, as I said,
about our objectives.
It'll only become more certain
as it becomes more correct,
so the evidence is there
and it's going to be designed
to interpret it correctly.
It will understand, for example,
that books are very biased
in the evidence they contain.
They only talk about kings and princes
and elite white male people doing stuff.
So it's a complicated problem,
but as it learns more about our objectives
it will become more and more useful to us.
CA: And you couldn't
just boil it down to one law,
you know, hardwired in:
"if any human ever tries to switch me off,
I comply. I comply."
SR: Absolutely not.
That would be a terrible idea.

Modern Greek (1453-): 
που διαβάζει λογοτεχνία
και ανακαλύπτει την ιδέα
ότι η γνώση είναι καλύτερη από την άγνοια,
να μην αλλάξει τους σκοπούς του
και ξαναγράψει τον κώδικά του;
Στιούαρτ Ράσελ: Ναι, εμείς θέλουμε
να μάθει περισσότερα, όπως είπα,
για τους σκοπούς μας.
Θα γίνει πιο βέβαιο όσο γίνεται πιο σωστό,
άρα τα στοιχεία υπάρχουν
και θα σχεδιαστεί
για να τα ερμηνεύει σωστά.
Θα καταλαβαίνει, για παράδειγμα,
ότι τα βιβλία είναι πολύ προκατειλημμένα
στο περιεχόμενό τους.
Μιλούν μόνο για βασιλιάδες και πρίγκιπες
και προνομιούχους λευκούς άνδρες
να κάνουν διάφορα.
Είναι, λοιπόν, ένα σύνθετο πρόβλημα,
αλλά όσο η μηχανή μαθαίνει περισσότερα
για τους σκοπούς μας,
θα μας γίνεται όλο και πιο χρήσιμη.
ΚΑ: Δεν μπορείς
να το συμπτύξεις όλο σε ένα νόμο,
προγραμματισμένο μέσα τους,
«Αν κάποιος άνθρωπος προσπαθήσει
να με απενεργοποιήσει
θα υπακούσω».
ΣΡ: Όχι, βέβαια.
Αυτή είναι μια φρικτή ιδέα.

Vietnamese: 
đọc những quyển sách 
và phát hiện ra ý tưởng là
có kiến thức thực ra 
tốt hơn là bị thiếu hụt
và có thể chuyển hướng mục tiêu của chúng 
sau đó viết lại các chương trình?
Stuart Rusell: Vâng, chúng ta muốn nó
học hỏi nhiều hơn, như tôi đã nói,
về mục tiêu của chúng ta.
Nó sẽ chỉ trở nên chắc chắn hơn 
khi nó làm đúng nhiều hơn,
vậy đó sẽ là những bằng chứng
và chúng sẽ được thiết kế 
để diễn dịch đúng đắn điều này.
Nó sẽ hiểu được, ví dụ như
những quyển sách rất thiên vị
về những đề tài mà chúng chứa.
Chúng chỉ nói về các vị vua và hoàng tử
và các đàn ông quý tộc da trắng làm gì đó.
Nên đó là một vấn đề phức tạp,
nhưng khi nó học hỏi nhiều hơn 
về mục tiêu của chúng ta,
nó sẽ chở nên càng ngày 
càng có ích cho chúng ta.
CA: Và anh đã không thể 
rút gọn lại trong một luật,
như là bó buộc nó lại:
"Nếu loài người đã cố để tắt nguồn tôi,
tôi sẽ tuân lệnh thôi."
SR: Thực sự thì không.
Đó sẽ là một ý tưởng tồi tệ.

Portuguese: 
o que irá impedir um robô
de ler literatura
e descobrir que o conhecimento
é melhor que a ignorância
e ainda mudar seus próprios objetivos
e reescrever essa programação?
Stuart Russell: Sim, queremos...
Queremos que ele aprenda mais,
como eu disse, sobre nossos objetivos.
Ele só se tornará mais seguro
quando se tornar mais correto.
A evidência está lá, e ele será projetado
para interpretá-la corretamente.
Ele entenderá, por exemplo,
que os livros são muito tendenciosos
na evidência que contêm.
Eles só falam sobre reis e príncipes
e a elite do homem branco fazendo coisas.
É um problema complicado,
mas, à medida que aprende
mais sobre nossos objetivos,
ele será cada vez mais útil para nós.
CA: E você não poderia apenas
reduzir a uma regra, integrada em:
"Se qualquer pessoa tentar me desligar,
eu concordo. Eu concordo"?
SR: De jeito nenhum.
Seria uma ideia terrível.

Japanese: 
無知よりも知識がある方が
良いと気付き
自分の目的を変えて
プログラムを書き換えてしまう —
そういうことに
ならないためには
どうすれば
良いのでしょう？
(スチュワート・ラッセル) 私たちはロボットに
人間の目的をよく学んで
ほしいと思っています
ロボットは より正しくなるほど
確信を強めます
手がかりはそこに
あるわけですから
それを正しく解釈するよう
デザインするのです
たとえば本の内容には
バイアスがあることを
理解するでしょう
王や王女や
エリートの白人男性がしたことばかり
書かれているといった風に
だから複雑な問題ではありますが
ロボットが我々の目的を
学べは学ぶほど
我々にとって
有用なものになるでしょう
(クリス) １つの原則に
まとめられないんですか？
固定したプログラムとして
「人間がスイッチを切ろうとしたら
無条件に従う」みたいな
(スチュワート) それは駄目ですね
まずいアイデアです

Arabic: 
ما الذي سيمنع الروبوت
من القراءةِ والتعلّمِ بأنّ المعرفةَ
أفضلُ من الجهلِ
وتظل في المقابل تحيد عن أهدافها الشخصية
وتعيد صياغة تلك البرمجة؟
ستيوارت راسل: نريدُ حقيقةً كما قلت،
أنْ تتعلّمَ هذهِ الآلاتُ أكثر،
عن أهدافنا نحن.
وستكونُ أكثرَ ثقةً بصحّةِ معلوماتها فقط
حينما تصبحُ أكثرَ دقّةً
فالدليل واضح هناك
وستكون مصممة لتفسيره بشكل صحيح.
وسوفَ تفهمُ مثلاً بأنَّ
بعضَ الكُتُبِ متحيّزةٌ جدا
حيال المعلوماتِ التي تحتويها.
حيث لاتروي قصصاً
سوى عن ملوكٍ أو أميراتٍ
أو عن أبطال ذكور ذوي بشرة بيضاء
يقومون بأشياء جميلة.
لذا فهي مشكلةٌ معقّدةٌ،
لكنَّ الآلاتَ ستتعلّمُ أكثرَ
عن أهدافنا في النهاية
وستصبحُ أكثرَ فائدةً لنا.
ك.أ : ألم يكن بإمكانك أن تختصر
هذا في قانون واحد،
كأنْ تزرعَ في دماغها مايلي:
"إنْ حاولَ أيُّ إنسانٍ
في أيّ وقتٍ أن يُطفِئني"
"سأمتثل، سأمتثل."
س.ر: بالتأكيد لا.
ستكون تلك فكرة سيئة جدًا.

iw: 
לעיין בספרות ולגלות את הרעיון שידע
עדיף על בורות,
לשנות את מטרותיו ולשכתב את התוכנה בהתאם?
ס.ר.: כן. אנחנו רוצים שילמד יותר,
כפי שאמרתי,
אודות מטרותינו.
זה יתבהר יותר 
רק כשזה יהיה נכון יותר
אז העובדות נמצאות בפניו
והרובוט יעוצב כך שיוכל לפרש אותן נכון.
למשל, הוא יבין שספרים מוטים מאוד
בעובדות שהם מכילים.
הם מדברים רק על המלכים והנסיכות
ואליטות של גברים לבנים
שעושים כל מיני דברים.
לכן, זוהי בעיה מורכבת.
אבל, ככל שהרובוט ילמד את מטרותינו
הוא יילך וייעשה מועיל יותר עבורנו.
כ.א.: אי אפשר לסכם את זה לכדי חוק אחד,
אתה יודע, משהו חצוב בסלע:
" אם בן אנוש ינסה אי פעם לכבות אותי,
אני מציית. אני מציית."
ס.ר.: לגמרי לא.
זה יהיה רעיון נוראי.

Russian: 
получившему суперразум,
почитать книги и обнаружить,
что на самом деле знания
лучше невежества,
начать следовать другим целям
и перепрограммировать себя?
Стюарт Рассел: Как я уже сказал,
мы хотим, чтобы роботы узнали больше
о наших целях.
Они станут более определёнными
лишь когда станут правильными,
робот будет запрограммирован
правильно понимать полученные данные.
Например, он будет понимать,
что книги описывают мир
довольно однобоко.
Они повествуют лишь о королях, принцах
и знатных белых мужчинах,
которые делают свою работу.
Это сложная проблема,
но чем больше он будет
узнавать о наших целях,
тем больше пользы он будет приносить нам.
КА: Вы не можете свести
всё к одному закону,
который бы гласил:
«Если когда-нибудь человек
попытается меня выключить,
я подчинюсь. Я подчинюсь»?
СР: Абсолютно исключено.
Это была бы ужасная идея.

Korean: 
로봇이 문학 서적을 읽고
지식이 무지보다 더 낫다는
개념을 발견하게 되고
그러면서도 계속 스스로 목적을 바꾸고
그걸 다시 프로그래밍히는 걸 
막을 수 있나요?
SR: 네. 말씀드렸다시피, 우리는 
로봇이 더 많이 배우길 바랍니다.
우리의 목표에 대해서 말이죠
목표가 더 정확해질수록
더 확실해지게 됩니다.
그런 증거들이 있습니다.
그리고 목표를 정확하게 
해석할 수 있도록 설계될 겁니다.
예를 들어, 인공지능이 책들을 읽고
그 안에 담긴 내용들이 한쪽으로 
편향되어 있다고 이해하게 될 겁니다.
그 책들의 내용은
왕과 왕자, 뛰어난 백인 
남성들의 업적들 뿐이죠.
이것은 어려운 문제입니다.
하지만 우리의 목적에 대해
더 많이 알게 될수록
우리에게 더욱 유용하게 될 겁니다.
CA: 그런데 그걸 하나의 
법칙으로만 말할 수는 없겠죠.
말하자면, 이렇게 입력하는 건가요.
"만약 어떤 인간이라도 
내 전원을 끄려고 한다면
나는 복종한다. 복종한다"
SR: 물론 아닙니다.
그건 정말 끔찍한 생각이에요.

Italian: 
cosa fermerà un robot
dal leggere letteratura e scoprire
l'idea che la conoscenza
sia migliore dell'ignoranza,
e lo indurrà a spostare le sue finalità
e riscrivere la programmazione?
Stuart Russell: Sì, vogliamo
imparare meglio, come ho detto,
sui nostri obiettivi.
Diventerà più sicuro solo
quando diventerà più corretto,
quindi la prova è questa
e sarà progettata
per interpretarla correttamente.
Capirà, per esempio,
che i libri sono molto prevenuti
in ciò che contengono.
Parlano solo di re e principi
e di élite di maschi bianchi
che fanno cose.
Quindi è un problema complicato,
ma siccome impara di più
sui nostri obiettivi
diventerà ancora più utile per noi.
CA: E non potresti soltanto
limitarti a una legge,
sai, programmata così:
"se un umano cerca di spegnermi,
lo assecondo. Lo assecondo."
SR: Assolutamente no.
Sarebbe un'idea terribile.

Persian: 
متنی رو میخونه و به این ایده میرسه که
اون دانش بهتر از ندانستن است
و اهدافش رو تغییر بده
و دوباره برنامه ریزی کنه؟
استوارت راسل: آره همانطور که گفتم،
ما میخوایم که ربات درباره اهداف ما
بیشتر یاد بگیره.
ربات فقط وقتی مطمئن تر میشه
که موضوع درست‌تر باشه.
شواهد گویا هستند.
و ربات طوری طراحی میشه که درست تفسیر کنه.
مثلا میفهمه که کتاب‌ها خیلی
در شواهدی که دارند
جانبدارانه عمل میکنند.
فقط درباره پادشاهان و شاهزادگان حرف میزنن.
و مردان سفید پوست فوق‌ العاده ای
که مشغول کاری هستند.
بنابراین این یک مشکل پیچیده است.
ولی همانطور که ربات
داره درباره اهداف ما یاد میگیره.
برای ما بیشتر و بیشتر کاربردی میشه.
ک آ: پس نمیشه اینو تبدیل به یک قانون کنیم
و به صورت کورکورانه بگیم که:
«اگر هر انسانی سعی کرد منو خاموش کنه
من پیروی میکنم. من پیروی میکنم.»
قطعا اینطور نیست.
اینطوری خیلی بد میشد.

Turkish: 
bir robotun tüm araştırmaları okuyarak,
bilginin aslında cehaletten
daha iyi olduğunu keşfetmesi
ve kendi hedeflerini belirleyip
kendini programını yeniden
yazmasını ne durdurabilir?
Stuart Russell: Evet, 
aslında dediğim gibi
biz de onun kendi hedeflerimiz hakkında
daha çok şey bilmesini istiyoruz.
Onu, bunu doğru şekilde yorumlayacak
biçimde tasarlayacağız.
Örneğin, kitapların içerdikleri
kanıtlar açısından
son derece taraflı olduğunu anlayacak.
Sadece kralların, prenslerin
ve elit beyaz erkeklerin
yaptıklarından bahsediyorlar.
Yani bu karmaşık bir problem,
ama bizim hedeflerimizi öğrendikçe,
bize giderek daha da yararlı olacaklar.
CA: Ve bunu da tek bir 
kurala indirgeyemeyiz,
değil mi, yani
''eğer insan beni kapatmayı denerse,
uyacağım. Uyacağım.''
SR: Kesinlikle hayır.
Bu berbat bir fikir olurdu.

Spanish: 
¿qué puede impedir que un robot
lea literatura y descubra esta idea
de que el conocimiento
es mejor que la ignorancia,
cambiando sus propios objetivos
y reescribiendo su programación?
Stuart Russell: Queremos
que aprenda más, como he dicho,
sobre nuestros objetivos.
Solo ganará seguridad
cuanto más acierte.
La evidencia estará ahí,
y estará diseñado para 
interpretarla adecuadamente.
Comprenderá, por ejemplo,
que los libros son muy sesgados
en la evidencia que contienen.
Solo hablan de reyes y príncipes
y hombres blancos poderosos 
haciendo cosas.
Es un problema complicado,
pero conforme aprenda más
sobre nuestros objetivos
será cada vez más útil
para nosotros.
CA: Y no podría reducirse a una ley,
ya sabe, grabada a fuego,
"Si un humano alguna vez
intenta apagarme
yo obedezco, obedezco".
SR: Absolutamente no.
Sería una idea terrible.

Hungarian: 
hogy az irodalmat olvasgatva
arra a felismerésre jusson,
hogy a tudás jobb, mint a tudatlanság,
és ezért átírja a saját programját,
hogy legyenek saját céljai?
Stuart Russell: Igen, ahogy mondtam is,
jobban meg kell ismerjük
a saját céljainkat is.
Csak annyival válik magabiztosabbá,
amennyivel jobban átlátja a dolgokat,
ez rá a garancia,
és úgy lesz tervezve,
hogy ezt jól értelmezze.
Például rá fog jönni,
hogy a könyvek nagyon elfogultak
a megismert bizonyítékaik alapján.
Kizárólag királyokról
és hercegekről szólnak,
csak fehér férfiak csinálnak mindent.
Szóval komplikált a probléma,
de ahogy egyre jobban
megismeri a céljainkat,
annál inkább lesz hasznunkra.
CA: Nem lehetne csak
egy szabályra egyszerűsíteni,
simán betáplálva, hogy:
"Ha egy ember megpróbál kikapcsolni,
elfogadom, elfogadom."
SR: Egyáltalán nem.
Ez egy szörnyű elképzelés.

Chinese: 
還有什麽東西能阻檔機器人閱讀書籍，
並了解到：博學比無知要好得多，
進而改變它的目標，
重新編寫自己的程式呢？
斯圖爾特拉塞爾：是的，
我們想要它去學習，就像我說的，
讓機器人學習我們的目標，
只有在理解得越正確的時候，
它們才會更明確我們要的東西，
佐證擺在那裡，
並且我們使它能夠正確解讀這些目標。
比如說，它能夠從書中的佐證
判斷出那些富含偏見的書，
像是只講述國王、王子，
和男性精英白人之類的書。
所以這是一個複雜的問題，
但當它更深入地學習我們的目標時，
它會變得越來越有用。
CA：所以它十分複雜，
遠不足以濃縮成一條法則嗎？
像是，把這樣的命令燒録進去：
「如果人類想把我關掉，
我要服從。我要服從。」
SR：絕對不行。
那將是一個很糟糕的主意。

English: 
So imagine that you have
a self-driving car
and you want to send your five-year-old
off to preschool.
Do you want your five-year-old
to be able to switch off the car
while it's driving along?
Probably not.
So it needs to understand how rational
and sensible the person is.
The more rational the person,
the more willing you are
to be switched off.
If the person is completely
random or even malicious,
then you're less willing
to be switched off.
CA: All right. Stuart, can I just say,
I really, really hope you
figure this out for us.
Thank you so much for that talk.
That was amazing.
SR: Thank you.
(Applause)

Portuguese: 
Imagine que você tem
um carro que dirige sozinho
e você quer mandar seu filho
de cinco anos para a escola.
Quer que seu filho de cinco anos
consiga desligar o carro em movimento?
Provavelmente não.
Ele tem que compreender a racionalidade
e a sensibilidade da pessoa.
Quanto mais racional for a pessoa,
mais disposto estará para ser desligado.
Se a pessoa for sem noção
ou mal-intencionada,
menos disposto você estará
para ser desligado.
CA: Tudo bem. Stuart, espero realmente
que você resolva isso para nós.
Muito obrigado por esta palestra.
Foi incrível. Obrigado.
(Aplausos)

Modern Greek (1453-): 
Φαντάσου ότι έχεις
ένα αυτο-οδηγούμενο αυτοκίνητο
και θέλεις να στείλεις
τον πεντάχρονο γιο σου
στον παιδικό σταθμό.
Θα ήθελες το πεντάχρονο παιδί σου
να μπορεί να το απενεργοποιήσει
όσο είναι εν κινήσει;
Μάλλον όχι.
Άρα το ρομπότ πρέπει να καταλαβαίνει
πόσο λογικό είναι ένα άτομο.
Όσο λογικότερο το άτομο,
τόσο πιθανότερο να θες
να το απενεργοποιήσεις.
Αν το άτομο είναι τελείως
ασυνάρτητο ή κακόβουλο,
τότε είναι πιο απίθανο
να το απενεργοποιήσεις.
ΚΑ: Εντάξει. Στιούαρτ, απλώς να πω,
πραγματικά ελπίζω να καταφέρεις
να βρεις τη λύση.
Ευχαριστώ πολύ για την απίθανη ομιλία σου.
ΣΡ: Ευχαριστώ.
(Χειροκρότημα)

Spanish: 
Imagine, tiene un auto que se conduce solo
y quiere llevar a su hijo de cinco años
al jardín de infancia.
¿Quiere que su hijo de cinco años pueda
apagar el coche mientras conduce?
Probablemente no.
Por tanto necesita entender 
cuán racional y sensata es la persona.
Cuanto más racional sea la persona,
más dispuesto estará 
a dejar que lo apaguen.
Si la persona es impredecible
o incluso malintencionada
estará menos dispuesto
a permitir que lo apaguen.
CA: Stuart, permítame decir
que de veras espero que resuelva esto
por todos nosotros.
Muchas gracias por su charla. 
Ha sido increíble, gracias.
(Aplausos)

Vietnamese: 
Hãy tưởng tượng anh có một chiếc xe tự lái
và anh muốn gửi đứa con 5 tuổi 
tới trường mẫu giáo.
Anh có muốn đứa con 5 tuổi có thể 
tắt chiếc xe khi nó đang chạy không?
Chắc là không đâu.
Do đó nó cần hiểu được mức độ 
nhận thức của người đó.
Nhận thức người đó càng cao,
khả năng máy tính tự nguyện 
bị tắt càng cao.
Nếu người đó hoàn toàn lạ mặt 
hay thậm chí là kẻ xấu,
thì máy tính sẽ khó để bị tắt hơn.
CA: Được thôi, Stuart,
tôi rất mong anh sẽ giải quyết 
vấn đề này cho chúng ta.
Cảm ơn rất nhiều vì cuộc nói chuyện.
Nó rất tuyệt vời.
SR: Cảm ơn.
(Vỗ tay)

Chinese: 
试想一下，你有一辆无人驾驶汽车，
你想让它送你五岁的孩子
去上学。
你希望你五岁的孩子
能在汽车运行过程中
将它关闭吗？
应该不会吧。
它得理解下指令的人有多理智，
是不是讲道理。
这个人越理智，
它就越愿意自己被关掉。
如果这个人是完全思绪混乱
或者甚至是有恶意的，
那你就不愿意它被关掉。
CA：好吧。斯图尔特，我得说
我真的希望你为我们
能把这一切研究出来，
很感谢你的演讲，太精彩了。
SR：谢谢。
（掌声）

iw: 
דמיינו שיש לכם רכב אוטומטי
ואתם רוצים לשלוח את ילדיכם בן החמש
לגן ילדים.
הייתם רוצים שהילד יוכל
לכבות את הרכב
תוך כדי הנסיעה?
כנראה שלא.
יוצא שהמכונית חייבת להחליט עד כמה 
הנוסע נבון והגיוני.
ככל שהנוסע הגיוני יותר,
כך המכונית תהיה מוכנה יותר שיכבו אותה.
אם הנוסע פזיז וחסר הגיון לחלוטין
או אפילו זדוני,
אז המכונית פחות תרצה שיכבו אותה.
ק.א.: בסדר גמור. תרשה לי רק לומר
שאני ממש מקווה שתפתור את זה עבורינו.
תודה רבה על ההרצאה הזאת.
זה היה מדהים.
ס.ר: תודה.
(מחיאות כפיים)

Hungarian: 
Képzeld csak el,
hogy van egy önvezető autód,
és el akarod vele küldeni 
az ötéves gyereked
az óvodába.
Azt akarod, 
hogy az ötéves képes legyen
kikapcsolni az autót útközben?
Valószínűleg nem.
Tehát szükséges, hogy értse, mennyire
racionális és józan az adott ember.
Minél racionálisabb az ember,
annál inkább hajlandó engedni,
hogy kikapcsolják.
Ha a személy teljesen zavart,
vagy akár ártó szándékú,
akkor kevésbé lesz hajlandó rá,
hogy kikapcsolják.
CA: Rendben, Stuart,
csak annyit mondok,
nagyon-nagyon remélem,
hogy megoldod ezt nekünk.
Igazán köszönöm az előadást.
Lenyűgöző volt.
SR: Köszönöm.
(Taps)

French: 
Imaginez que vous ayez
une voiture sans chauffeur
et vous souhaitez envoyer
votre enfant de cinq ans
à la maternelle.
Voulez-vous que votre enfant de cinq ans
puisse éteindre la voiture
alors qu'elle roule ?
Probablement pas.
Alors l'IA doit pouvoir évaluer si la
personne est rationnelle et raisonnable.
Plus la personne est rationnelle,
plus elle devrait avoir de contrôle.
Si la personne est incohérente
ou même malveillante,
alors elle devrait avoir
un contrôle plus limité.
CA : Très bien. Stuart,
j'espère que vous allez
régler cela pour nous.
Merci beaucoup pour cette présentation.
C'était incroyable.
SR : Merci.
(Applaudissements)

Korean: 
무인자동차를 갖고 있다고 생각해보세요.
그리고 다섯 살이 된 아이를
유치원에 데려다 주려고 합니다.
그때 운전중에 다섯 살짜리 아이가 
전원을 꺼버리게 두시겠어요?
아마 아닐 겁니다.
로봇은 작동하는 사람이 얼마나 
이성적이고 지각이 있는지 파악합니다.
더 이성적인 사람이
전윈을 꺼주기를 바라겠죠.
만약 어떤 사람인지 전혀 모르고
심지어 악의적인 사람이라면
그런 사람이 전원을 끄기를 
원하지는 않을 겁니다.
CA: 알겠습니다. 스튜어드씨,
저희 모두를 위해 그 문제를
해결해 주시기를 바랍니다.
좋은 강연 감사합니다. 
정말 놀라운 이야기였습니다
SR: 감사합니다
(박수)

Persian: 
مثلا تصور کنید که یک ماشین خودران دارید.
و میخواهید بچه پنج سالتون رو
به مدرسه بفرستید.
آیا شما میخواین که بچه پنج سالتون
بتونه ماشین رو موقع رانندگی
خاموش کنه؟
احتمالا نه.
پس ربات باید بتونه درک کنه
که آدم چقدر منطقی و معقول هست.
هرچه انسان منطقی تر باشد،
ربات بیشتر تمایل دارد
که بگذارد خاموش شود.
اگر شخص کاملا تصادفی یا خرابکار باشد
ربات کمتر تمایل دارد که بگذارد خاموش شود.
خب استوارت، فقط میتونم بگم که
من واقعا، واقعا امیدوارم تو برای ما
این مشکل رو حل کنی.
ممنون بابت سخنرانی.
فوق العاده بود.
ممنون.
(تشویق حضار)

Chinese: 
試想一下，你有一輛無人駕駛汽車，
你想讓它送你五歲的孩子去幼稚園。
你會希望你五歲的孩子
在汽車運行的過程中將它關閉嗎？
應該不會吧。
所以它得理解
下指令的人有多理智、有多講道理。
這個人越理智，
它就越願意被你關掉。
如果這個人是完全思緒混亂
或者甚至是有惡意的，
那它就不太願意被你關掉了。
CA：好吧。斯圖爾特，我得說，
我真的希望你為我們所有人，
找到解決的辦法。
很感謝你的演講。
十分精彩。
SR：謝謝。
CA：謝謝。
（掌聲）

Japanese: 
自動運転車で
５歳の子を幼稚園に
送るところを
考えてみてください
車に１人で乗っている
５歳児が
車のスイッチを切れるように
したいと思いますか？
違うでしょう
ロボットは その人間がどれほど理性的で
分別があるかを理解する必要があります
人間が理性的であるほど
スイッチを切らせる見込みは
高くなります
まったくランダムな相手や 
悪意ある人間に対しては
なかなかスイッチを切らせようとは
しないでしょう
(クリス) スチュワート
あなたが みんなのために
この問題を解決してくれることを切に望みます
ありがとうございました
素晴らしいお話でした
(スチュワート) どうもありがとう
(拍手)

German: 
Wenn zum Beispiel Ihr selbstfahrendes Auto
Ihr fünfjähriges Kind zum Kindergarten
fahren soll,
wollen Sie, dass Ihr Kind
das Auto abschalten kann,
während es fährt?
Wahrscheinlich nicht.
Es muss also verstehen, wie rational
und vernünftig die Person ist.
Je rationaler die Person,
desto eher sollte es sich ausschalten.
Wenn die Person willkürlich
oder sogar boshaft ist,
sollte es sich nicht ausschalten.
CA: Okay, Stuart, Ich hoffe nur,
dass Sie das für uns lösen können.
Vielen Dank für Ihren
Vortrag. Er war toll.
SR: Danke.
(Beifall)

Arabic: 
تخيّل مثلاً لو امتلكتَ
سيّارةً ذاتيّةَ القيادةِ
وأردتَ أنْ تُرسلَ بها طفلكَ
ذي الخمسة أعوامٍ
إلى الروضة.
هل تريدُ أن يُطفئَ طِفلُك السيّارةَ
في منتصفِ الطّريق؟
بالتّأكيدِ لا.
لذا يجبُ أن تفهم الآلةُ دوافعَ
الإنسانِ لإطفائها ومدى عقلانيّتهِ
و كلّما كانَ الشخصُ منطقيّاً أكثر،
كلّما كانت الآلةُ أكثرَ
تقبّلاً لإيقافِ تشغيلها.
ولوّ كان الشخصُ غريباً
أو بدا مُؤذياً،
فلنْ تتقبّلَ الآلةُ أنْ يتمَّ إطفاؤها.
ك. أ: حسناً، أودُّ أنْ أقولَ بأنّني
أتمنّى حقّاً أنْ تخترعَ
هذهِ الأشياء لنا قريباً
شكراً جزيلاً لكَ على هذه المحادثة
لقد كانت مدهشة.
س. ر: شكراً لك.
(تصفيق)

Italian: 
Immaginate di avere
una macchina che si guida da sola
e volete mandare vostro figlio
di cinque anni
all'asilo.
Volete che vostro figlio
sia capace di spegnere la macchina
mentre va in giro?
Probabilmente no.
Quindi deve capire quanto razionale
e sensibile sia la persona.
Più razionale è la persona,
più disponibile siete
a essere spenti.
Se la persona è del tutto ignota
o perfino malvagia,
allora sarete meno disponibili
a essere spenti.
CA: Giusto. Stuart, posso dire solo,
spero davvero, davvero che tu
lo scopra per noi.
Grazie per questa conferenza.
È stata fantastica.
SR: Grazie.
(Applausi)

Russian: 
Представьте, что у вас есть
беспилотный автомобиль,
и вы хотите отправить на нём
своего пятилетнего сына
в детский сад.
Хотели бы вы, чтобы ваш пятилетний сын
мог отключить машину,
когда она едет?
Вероятно, нет.
Поэтому нужно понимать степень
рациональности и здравомыслия личности.
Чем более рационален человек,
тем вероятнее робот согласится
на отключение.
Если это случайный человек
или даже злоумышленник,
он отключится с меньшей охотой.
КА: Хорошо Стюарт. Я очень надеюсь,
что вы разберётесь с этим ради нас.
Большое спасибо за выступление.
Это было потрясающе.
СР: Спасибо.
(Аплодисменты)

Turkish: 
Yani kendini süren bir arabanız
olduğunu varsayın
ve beş yaşındaki çocuğunuzu
anaokuluna göndermek istiyorsunuz.
Peki beş yaşındaki çocuğunuzun
araba seyir halindeyken
arabayı kapatabilmesini ister miydiniz?
Muhtemelen hayır.
Yani bu durumda robotun,
bir insanın ne kadar mantıklı ve
rasyonel olduğunu anlaması gerekiyor.
Bir insan ne kadar rasyonel ise
siz de o kadar kapatılmayı
kabul edersiniz.
Eğer bir kişi tamamen plansız
ve hatta kötü niyetliyse
o zaman siz de kapatılmak için
daha az hevesli olursunuz.
CA: Peki. Stuart,
sadece şunu söyleyebilirim.
Umarım bunu hepimiz için çözebilirsin.
Konuşman için çok teşekkürler.
Muhteşemdi.
SR: Teşekkürler.
(Alkışlar)
