
English: 
Alright Michael, so there's lots of definitions
of game theory that we could use.
One that I like in particular is
that game theory is the mathematics of conflict.
>> Hm, [CROSSTALK] that's interesting.
>> I think it's kind of interesting. Or generally it's the
mathematics of conflicts of interest when trying to make optimal choices.
>> because I feel like a lot
of people have their own conflicts with mathematics.
>> I think everyone but mathematicians have
their conflicts with mathematics. I think that's fair.
>> I see.
>> But do you see if you, can you see
how worrying about the mathematical conflict might be a sort of
natural next thing to think about after you've learned a lot
about reinforcement learning? I guess then well the next bullet kind
of, kind of suggests a trend. So, so we've been talking about
decision making and it's almost always in the context of a
single agent that lives in a world and it's trying to maximize
reward. But that's kind of a lonely way to think about
things, so what if there's other agents in the world with you?
>> Right and of course evidence suggests that there are in
fact other agents in the world with you. And what we've been
doing with reinforcement learning which, you know, has worked out very well

Chinese: 
好的，Michael，我们有很多“博弈论”的
定义可以拿来用。
其中一个我特别喜欢，即，
“博弈论”是“冲突的数学”。
>> 嗯，[串音] 很有趣。
>> 是挺有趣的。或者，当我们试图
做出最优选择时，我们通常称之为“利益冲突的数学”。，
>> 因为我感觉很多人
都跟数学过不去。
>> 我想，除了数学家之外，所有人
都跟数学过不去吧。我觉得是那么回事儿。
>> 我明白了。
>> 但是，您有没有发现，
在您学了很多“增强式学习”的知识后，
对“数学冲突”的担忧很自然就成了接下来要
考虑的问题。我想，下一条内容
表明了一个趋势吧。我们一直在谈论
“决策制定”，但几乎总是以生活在世界上的单一
智能体作为背景，并且“决策制定”试图最大化
奖励，可是那种想法不太现实。
如果除了您之外，世界上还有其他的智能体，会如何？
>> 是的，很明显，除了您之外，世界上还有
其他的智能体。在
“增强式学习”中，我们很多时候

Portuguese: 
Certo, Michael, há muitas definições de
teoria de jogos que poderíamos usar.
Uma que gosto muito é
que a teoria de jogos é a matemática de conflitos.
Hum, [CROSSTALK] isso é interessante.
Acho que é relativamente interessante. Ou geralmente é a
matemática de conflitos de interesse quando se tenta fazer as escolhas ideais.
pois eu acho que muitas
pessoas têm os seus próprios conflitos com a matemática.
Acho que todo mundo, exceto os matemáticos, têm
conflitos com a matemática. Acho que é justo.
Entendo.
Porém, você vê se você, você consegue ver
como a preocupação com o conflito matemático poderia ser um tipo de ideia natural
a ser pensada após você ter aprendido muito
sobre aprendizado por reforço? Imagino então que o próximo marcador
meio que sugira uma tendência. Então, temos falado sobre
a tomada de decisões e quase sempre no contexto de um
único agente que vive em um mundo e está tentando maximizar a
recompensa. Mas esse é um tipo de caminho solitário para se pensar a
realidade, então e se houver outros agentes no mundo com você?
Certo, e naturalmente a evidência sugere que haja na verdade
outros agentes no mundo com você. E o que temos feito
com o aprendizado por reforço que, vocês sabem, tem funcionado muito bem

Arabic: 
‫حسنًا Michael، إليك العديد من التعريفات التي يمكننا استخدامها
‫لنظرية الألعاب.
‫ويعجبني أحدها على وجه الخصوص
‫وهو التعريف القائل بأن نظرية الألعاب هي الرياضيات الخاصة بالتضارب.
‫>> نعم، [CROSSTALK] هذا مشوق.
‫>> أعتقد أن هذا مشوق نوعًا ما. أو بوجه عام هي
‫الرياضيات الخاصة بتضارب المصالح عندما تحاول تحديد الاختيار الأمثل.
‫>> لأنني أشعر أن الكثير من الناس
‫لديهم مشكلاتهم الخاصة مع الرياضيات.
‫>> أعتقد أن الجميع باستثناء علماء الرياضيات
‫لديهم مشكلات مع الرياضيات. أرى أن هذا عادل.
‫‎>> أفهم ذلك.
‫>> ولكن هل يمكنك أن ترى
‫كيف يمكن أن يكون القلق بشأن التضارب الرياضي أمرًا طبيعيًا إلى حد ما
‫بعد أن تعلمنا الكثير عن
‫التعلم التعزيزي؟ حسنًا، أعتقد أن النقطة التالية
‫تشير إلى اتجاه. إذن، كنا نتحدث عن
‫اتخاذ القرارات وفي الغالب في سياق
‫الطرف الواحد الذي يعيش في عالم ويحاول زيادة
‫المكافأة. ولكن هذه إحدى الطرق للتفكير بشأن الأمر،
‫إذن، ماذا لو كان هناك أطراف أخرى في العالم معك؟
‫>>صحيح، وبالطبع، يشير الدليل إلى وجود
‫أطراف أخرى في العالم معك حقًا. وما فعلناه باستخدام التعلم التعزيزي
‫هو أننا تقريبًا تظاهرنا بأن الأطراف الأخرى هذه مجرد جزء من البيئة

Portuguese: 
para vocês, é que temos na maioria fingido que esses outros agentes são
apenas uma parte do ambiente. De alguma forma, tudo o que
os outros agentes fazem está oculto dentro do modelo de transição. Porém,
na verdade provavelmente faz sentido se você deseja tomar decisões ideais
para tentar levar em conta explicitamente os desejos e as metas
de todos os outros agentes no mundo com você. Isso parece justo?
>> Sim!
Certo. Então, é o que a teoria dos jogos nos ajuda a fazer
e, depois, bem no final, acho que seremos, seremos
capazes de vincular o que estamos indo aprender diretamente ao
aprendizado por reforço que concluímos e, até mesmo, à equação de Bellman.
Ah, sim, okay.
Sim, então isso vai funcionar muito bem, porém,
porém temos que chegar lá primeiro e há muita
coisa que temos que fazer para chegar lá. Mas,
justo agora desejo refletir sobre esta noção
que, vamos mover do mundo ao aprendizado por reforço de agentes
únicos para um mundo da teoria de jogos de vários agentes e vincular
tudo novamente em conjunto. É meio que uma observação geral
que eu acho, é válido o fato de que a teoria dos jogos
deve ser decorrente da economia. E, então, na verdade,
se você pensa sobre vários agentes ali, sendo que há milhões e milhões

Arabic: 
‫وقد نجح هذا الأمر
‫بشكل جيد للغاية. وبطريقة ما، كل الأمور التي تقوم بها
‫الأطراف الأخرى متخفية بداخل نموذج الانتقال. ولكن
‫في الواقع، ربما تكون منطقية إذا أردت اتخاذ قرارات مثلى
‫لمحاولة مراعاة رغبات جميع الأطراف الآخرين الموجودين معك في العالم
‫وأهدافهم صراحة. هل يبدو هذا عادلاً؟
‫>> أجل.
‫>> صحيح. إذن هذا ما تساعدنا نظرية الألعاب في فعله
‫وفي النهاية أعتقد أننا نستطيع
‫ربط ما سنتعلمه مباشرة
‫بالتعلم التعزيزي الذي انتهينا منه وحتى بمعادلة بيلمان.
‫>> آه، حسنًا، رائع.
‫>> نعم، إذن سينجح هذا بشكل جيد للغاية
‫ولكن يجب أن نصل إلى ذلك أولاً حيث يوجد الكثير
‫من الأمور التي يتعين علينا فعلها للوصول إلى ذلك. ولكن الآن
‫أريدك أن تفكر بشأن هذه الفكرة
‫حيث سننتقل من عالم التعلم التعزيزي
‫ذي الطرف الواحد إلى عالم نظرية الألعاب ذات الأطراف المتعددة
‫وربط ذلك كله معًا مرة أخرى. توجد ملاحظة عامة
‫أعتقد أنها تستحق الذكر،
‫وهي أن نظرية الألعاب تنتج عن الاقتصاد نوعًا ما. وفي الحقيقة
‫إذا تأملتم الأطراف المتعددة، فستجدون أن هناك الملايين والملايين من

English: 
for us, is we've been mostly pretending that those other agents are
just a part of the environment. Somehow all the stuff that
the other agents do is hidden inside of the transition model. But
truthfully it probably makes sense if you want to make optimal decisions
to try to take into account explicitly the desires and the goals
of all the other agents in the world with you. Does that seem fair?
>> Yeah.
>> Right. So that's what game theory helps us to do
and then at the very end I think we'll, we'll be
able to tie what we're going to learn Directly back into the
reinforcement learning that we've done and even into the Bellman equation.
>> Oh, okay, nice.
>> Yeah, so that is going to work out pretty well but,
but we have to get there first and there's a lot
of stuff that we have to do to get there. But
right now what I want you to think about is this notion
that, we're going to move from reinforcement learning world of single
agents to a game theory world of multiple agents and tie
it all back back together. It's a sort of general
note that I think that, that's worthwhile is that, game theory
sort of comes out of economics. And then in fact,
if you think about multiple agents there being millions and millions

Chinese: 
都在假装其他智能体是
环境的一部分。其他智能体所做的
事情都以某种方式被隐藏在转换模型中。不过，
说实话，如果您试图将其他所有智能体的
期望和目标考虑进来，从而做出最优的决策，
这还说得过去。有道理吗？
>> 有的。
>> 没错。所以，这就是“博弈论”能够
帮助我们做的事，而且到最后，
我们可以把将要学习的东西
捆绑到“增强式学习”中，甚至是 Bellman 方程中。
>> 噢，好的，很好。
>> 是的，那会很有效，
但我们必须要到达那种情况，
并且在那之前我们有很多事情要做。不过，
我希望您现在思考的是这个概念，即，
我们将从单一智能体的“增强式学习”世界
移步到多个智能体的“博弈论”世界，
并且将两个世界捆绑在一起。需要注意，
我认为值得一提，“博弈论”有点儿像是来自
“经济学”。事实上，
如果您想到的是多个智能体，数以百万计的

Arabic: 
‫الأطراف المتعددة، وبمعنى ما هذا هو الاقتصاد. مفهوم؟ حيث يعد
‫الاقتصاد نوعًا من أنواع الرياضيات والعلوم، وهو فن
‫التفكير فيما يحدث عند وجود الكثير والكثير
‫من الأشخاص ممن قد تتضارب أهدافهم، يحاولون
‫العمل معًا للوصول إلى شيء ما، حسنًا. وهذا ما تفعله نظرية الألعاب
‫حيث تمنحنا الأدوات الرياضية للتفكير بشأن هذا.
‫>> أشعر أن المجالات الأخرى
‫ستهتم ببعض من هذه الأمور أيضًا، مثل علم الاجتماع.
‫>> صحيح.
‫>> ويمكنني تصور أن
‫علم الأحياء يهتم بهذه الأمور، أيضًا.
‫‎>> حتى علم الأحياء، فكرة علم الأحياء
‫تروق لي. علم الأحياء. لماذا يهتم علم الأحياء بهذا الأمر؟
‫>> حسنًا، أعتقد أن الطريقة التي استخدمها لوصف الأمر
‫في ضوء وجود الكثير من الأطراف الفردية التي تتفاعل
‫هذا الأمر يشبه الكائنات التي تعيش وتتكاثر. وأشعر
‫أن لديها بعض من تلك المشكلات نفسها.
‫>> بالطبع. إذن، بالتأكيد، علم الأحياء على مستوى الكيانات، أو على مستوى
‫الثدييات أو على مستوى الحشرات، قد يمكنك التفكير بشأن الأمر بهذه الطريقة.
‫ولكن ربما على مستوى الجينات وعلى مستوى

English: 
of multiple agents, in some sense that's economics. Right? Economics is
kind of the math, and the science, and the art of
thinking about what happens when there are, lots, and lots, and
lots, and lots of people with their own goals possibility conflicting, trying
to work together to accomplish something, right. And so what game
theory does, is it gives us mathematical tools to think about that.
>> I feel like I feel like other fields
would care about some of these things too, like sociology.
>> Right.
>> And what about, I could kind
of imagine biology caring about these things, too.
>> Even biology, I like the idea of
biology. Biology. Why would biology care about this?
>> Well, I guess the way you described it
in terms of lots of individual agents that are interacting.
Like, you know, creatures that live and reproduce. I
feel like they, they have some of those same issues.
>> Sure. So certainly biology at at the level of entities, at the level of
mammals or level of insects, you might be able to think about it that way.
But perhaps even at the level of genes and at the level of

Chinese: 
智能体，那么从某种意义上讲，那就是经济学的范畴了。对吗？经济学是一种
数学，一种科学。当有一大群人
怀揣着可能相互冲突的目标，试图通过
合作来实现某件事情时，经济学是您思考接下来
会发生什么的一门艺术。“博弈论”
给了我们思考上述问题的数学工具。
>> 我觉得，其他的领域
也会关注其中的一些事情，比如社会学。
>> 没错。
>> 或者，我多少有点儿
想到生物学也关注这些事情。
>> 甚至是生物学，我喜欢生物学
这个想法。生物学。生物学为什么会关注这个？
>> 我想是因为您在描述博弈论时，
说到了一个个相互作用的智能体。
就像繁衍生息的生物。我感觉
它们也有同样的一些问题。
>> 当然。生物学在实体的层面上，在
哺乳动物的层面上，或者在昆虫的层面上，您可以那样去思考问题，
甚至在基因的层面和细胞的

Portuguese: 
de vários agentes em algum sentido isso é economia. Certo? A economia é
meio que uma matemática, e a ciência, e a arte de
refletir sobre o que acontece quando há centenas, e centenas e
centenas, e centenas de pessoas com sua própria possibilidade de metas em conflito, tentando
trabalhar em conjunto para realizar algo, certo. E então o que a teoria dos
jogos faz, ela nos dá ferramentas matemáticas para refletir a respeito.
Eu acho que outros campos
se importariam com algumas dessas coisas também, como a sociologia.
>> Certo.
E também, eu poderia pensar
no fato de a biologia se importar com essas coisas, também.
Mesmo a biologia, eu gosto da ideia da
biologia. Biologia. Por que a biologia se importaria com isso?
Bem, imagino pela forma com que você a descreveu
em termos de muitos agentes individuais que estejam interagindo.
Como, vocês sabem, criaturas que vivem e se reproduzem. Eu
acho que eles, eles têm algumas dessas mesmas questões.
Claro. Por isso, certamente, a biologia no nível das entidades, no nível dos
mamíferos ou nível dos insetos, vocês poderiam ter condições de pensar nela dessa forma.
Mas talvez mesmo no nível dos genes e no nível das

Arabic: 
‫الخلايا. الفيروسات والبكتريا الصغيرة. وربما يمكنك
‫التفكير بالأمر بهذه الطريقة.
‫>> نظرًا لأنها في صراع أيضًا، على حد ظني.
‫>> أجل. والآن، يوجد ربما مفهوم
‫القصد. ليس واضحًا تمامًا ما المقصود هنا
‫وأعتقد أنه ضمني بمفهوم
‫ما نفعله هنا هو فكرة القصد
‫والأهداف الصريحة في مقابل تلك
‫المتضمنة في جيناتك، ولكنني أعتقد
‫أن هذه طريقة للتفكير بهذا الشأن
‫معقولة جدًا. أعتقد أن الدرس من هذه المناقشة
‫يتمثل في ما تصوره لنا نظرية الألعاب،
‫أو ما نود أن تصوره لنا، هي طرق التفكير
‫بشأن ما يحدث عندما لا نكون نحن الوحيدين أصحاب القصد في
‫العالم وكيف ندمج الأهداف الأخرى من آخرين
‫ممن قد لا يسعون لمصلحتنا أو ممن قد تكون مصلحتنا في دائرة
‫اهتمامهم. كيف تجعلون هذا يعمل؟ وإذا
‫تأملنا هذه المشكلة، أعتقد أنه من المنطقي أنها
‫أصبحت جزءًا من الذكاء الاصطناعي على نحو متزايد عبر السنين، وفي بعض النواحي
‫بدأ التعلم الآلي التفكير بشأنها
‫كونها جزءًا مهمًا مما نفعله.
‫>> رائع.
‫>> ولهذا السبب يستحق ذلك أن نذكره اليوم. حسنًا. يبدو هذا جيدًا.
‫>> فهمتك.
‫>> حسنًا. دعنا نحاول

Portuguese: 
células. Pequenos vírus e bactérias. Você
poderia pensar sobre isso assim.
Porque eles experimentam conflitos também, imagino.
>> Sim! Agora, provavelmente há esta noção de
intenção. Não está inteiramente claro o que isso significa aqui
e eu acho implícito na noção do
que estamos fazendo aqui é esta noção de intenção
e metas explícitas como opostas às que
são meio que embutidas nos seus genes, mas eu acho
que é uma forma perfeitamente razoável de refletir sobre
isso. Eu acho que a lição desse debate
contudo, é essa. O que a teoria dos jogos meio que captura para nós ou
o que se gostaria que ela capturasse para nós, são formas de pensar
sobre o que acontece quando você não é a única coisa com intenções no
mundo e a forma como você incorpora outras metas de outras pessoas que
podem não ter os seus melhores interesses e convicções
. Como você faz isso funcionar? E então se
você pensar sobre esse problema então acho que faz sentido que seja
cada vez mais parte da IA ao longo dos anos, e de algumas formas
o aprendizado de máquina começou a pensar nele
como sendo uma parte dominante do que nós fazemos.
Legal.
Daí, por que é válido falar sobre isso hoje. OK. Parece bom.
Entendi.
OK. Vamos, vamos tentar tornar isto

Chinese: 
层面上，比如病毒和细菌，您
也可以那样去思考问题。
>> 因为它们也身陷冲突之中，我猜。
>> 是的。我们现在还有了“动机”这个
概念。它在这里所表达的意思还不是很明确，
我认为，“我们正在做什么”的
这个概念中，隐含着“动机”这个概念
以及明确的目标，而非根植于您
基因中的那些目标，但是我想，
那样思考问题，倒是非常合理的一种
方式。我认为，从这次的讨论中，
我们将了解到的是，“博弈论”为我们争取到，
或者想为我们争取到的是思考的方式，即，当您不是世界上
唯一有动机的存在，您对“将发生什么事情”这个问题的思考方式，
以及面对这样一群人时，这些人可能有您心中想要的最佳利益或没有，
您对“如何结合各自目标”这个问题的
思考方式。您要怎么来做？如果您
思考这个问题，我认为“博弈论”多年来渐渐成为
AI 的一部分是可以理解的，在某种程度上，
机器学习已经将“博弈论”视作
我们的一部分主流思想了。
>> 太棒了。
>> 因此，这就是为什么今天值得说这个理论了。好饿。听着很不错。
>> 明白了。
>> 好的。让我们结合例子来

English: 
cells. Little virii and, and bacteria. You
could possibly think about it that way.
>> because they're in conflict too, I guess.
>> Yeah. Now there's probably this notion of
intention. It's not entirely clear what that means here
and I think implicit in the notion of
what we're doing here is this notion of intention
and explicit goals as opposed to ones that
are kind of built into your genes, but I think
that's a perfectly reasonable way of thinking about
it. I think the, the lesson from this discussion
though is that. What game theory sort of captures for us or
what would like for it to capture for us, is ways of thinking
about what happens when you're not the only thing with intention in
the world and how do you incorporate other goals from other people who
might not have your best interest at heart or might have your
best interest at heart. How do you make that work? And so if
you think about that problem then I think it makes sense that it's
been increasingly a part of AI over the years, and in some ways
machine learning has started to think of it
as being a mainstream part of what we do.
>> Cool.
>> Hence, why it's worth talking about today. Okay. Sound good.
>> Gotcha.
>> Okay. Let's, let's try to make this

Chinese: 
具体说明这个理论。

Portuguese: 
concreto com um exemplo bastante simples.

English: 
concrete with a very simple sort of example.

Arabic: 
‫توضيح هذا الأمر بمثال بسيط جدًا.
