
Russian: 
Привет Мир! С вами Сараj и я собираюсь показать вам как я читаю научные статьи и
дать вам несколько советов как можно делать это эффективнее
Чтение научных статей это искусство независимо оттого являются ли главная тема машинным обучением или
криптографией или сетями. Для того чтобы иметь по настоящему
обоснованное мнение в конкретном разделе computer science вам нужно
ознакомиться с текущими исследованиями этой темы. Легко согласиться
с мнением если оно очень популярное. Но вы можете научиться критически мыслить
и правильно всё взвешивать для оценки статьи. Аспиранты учатся этому
в университетах, но вы тоже можете научиться этому. Для этого нужно только иметь
терпение и практиковаться, еще нужно кофе, очень много кофе. Каждую неделю я читаю
от 10 до 20 научных статей для того чтобы идти в ногу с исследованиями в области. И со временем

English: 
Hello world it's Siraj and I'm gonna
show you how I read research papers and
give you some additional tips on how you
can consume them more efficiently
reading research papers is an art
whether the topic is machine learning or
cryptography distributed consensus or
networking in order to truly have an
educated opinion on a particular topic
in computer science you've got to get
yourself acquainted with current
research in that subfield it's easy to
agree with a claim if it's got enough
hype behind it but being critical and
balanced in your assessment is a skill
that can be learned PhD students are
taught how to do this in grad school but
you too can learn how to do this it just
takes patience and practice and coffee
lots of coffee every single week I read
between 10 to 20 research papers in
order to keep up with the field and I've

English: 
gotten better at it over time and I
don't have any graduate degrees I'm just
a guy who really loves this stuff and I
teach myself everything using our new
collective University the Internet one
of my favorite resources to find papers
on machine learning is the machine
learning subreddit people post papers
they find interesting every day
and they've also got this cool weekly
what are you reading thread where people
post the papers that interest them the
most
currently additionally there is this web
app called archived sanity com created
by Andrey Karpov II which basically goes
through archive and finds the papers
that are most relevant you can filter
them by what interests you by which ones
are most popular or by the ones that are
most cited lately Google and deepmind
respectively publish their work on their
websites for easy access and there are
of course journals like Nature that you
can find some top papers in easily the
pace of research is accelerating in
machine learning because of a few
reasons

Russian: 
я стал в этом хорош. И у меня нет никакой ученой степени. Я просто
парень, который сильно любит эту область. И я сам учу себя всему
используя Интернет. Один из моих самых любимых ресурсов для нахождения публикаций
о машинном обучении - это тема об машинном обучение на Reddit. Люди выкладывают статьи
которые находят интересными, каждый день. А ещё у них есть классная еженедельная лента
постов куда люди выкладываю самые интересные прочитанные статьи.
В добавок, есть веб-приложение которое называется
arxiv-sanity.com, созданное Andrej Karpathy. Оно проходит по архиву
и находит самые популярные статьи. Вы можете сортировать их
по темам, по популярности или по наиболее
цитируемым. Google и DeepMind публикуют исследования на своих сайтах
для удобного доступа. И конечно есть журналы такие как Nature в которых вы
можете легко найти самые популярные статьи. Скорость исследований увеличилась в
машинном обучение по нескольким причинам

Russian: 
не включая Schmidhuber, в научной и публичной областях
демократизация данных, вычислительной силы, образования и алгоритмов
происходит по всему интернету. Поэтому множество людей получили возможность самостоятельно
ознакомиться с этой сферой. В индустрии, большим техническим компаниям выгоднее
когда их собственные команды открывают новые методы машинного обучения. Сейчас происходит
гонка по созданию более быстрых и умных алгоритмов. Всё что нужно сказать это
что есть много статей которые вы могли бы читать прямо сейчас. Так как же вам выбрать
что читать. Я выяснил что каждую неделю выходят 2-3 статьи
которые привлекают больше всего внимания в машинном обучении
и инструменты о которых я рассказал помогают мне искать и читать их. Я читаю потому, что
у меня есть цель. Этой целью может быть желание узнать больше о функции
активации или вероятностных моделях использующих внимание

English: 
not including Smith you
in academia and in the public sphere the
democratization of data computing power
education and algorithms is all steadily
happening over the internet because of
this more people are able to make their
own insights into this field in the
industry the big tech companies profit
more when their own teams discover new
machine learning methods so there's this
race to create faster more intelligent
algorithms all that is to say that there
are a lot of papers you could be reading
right now so how are you supposed to
know what to read well what I found is
that every week there are maybe two or
three papers that are getting the most
attention in machine learning and the
tools I've mentioned helped me find them
and read them but most of my reading is
a result of me having a goal that goal
could be to learn more about activation
functions or perhaps probabilistic
models that use attention mechanisms

Russian: 
После того как появляется цель, становиться намного проще составить план чтения который
приведёт вас к цели. Научиться читать сложные математические статьи о машинном обучение
это не та цель которая вдохновит вас. Ваша выносливость зависит от мотивации
а мотивация зависит от целей которые вы себе ставите
Я заметил что мне намного легче разбираться в сложных статьях
когда у меня есть реальная причина для этого. Для примера возьмём статью
моего друга Ian Goodfellow о генеративно-состязательных сетях
В этой статье много всего. Здесь он синтезировал некоторые идеи о которых
Yann LeCun сказал, что это лучшие идеи в глубоком обучении за
последние 10 лет. Я читаю статьи в три этапа. На первом
я просто просматриваю статью для ознакомления. Это означает что
с начала я прочту заголовок, если он звучит интересно и уместно.
генеративно-состязательные сети. Йо, поехали.

English: 
once I've got that goal it makes it much
easier to create a reading strategy that
points towards that goal just being a
good math heavy machine learning paper
reader is not a goal to aspire to your
stamina is more of a function of human
motivation which is a function of the
goals you're trying to accomplish
I found that I can crush through and
understand the most difficult papers
much more when I have a real reason to
do so so let's take the landmark paper
by a friend of mine Ian good fellow on
generative adversarial networks as an
example there is a lot in this paper he
synthesizes some ideas here that made
Yamla kun say that this concept was the
coolest idea in deep learning in the
last ten years the way I read papers is
by performing a three pass approach on
the first pass I'll just skim through
the paper to get it just of it meaning
I'll first read the title if the title
sounds interesting and relevant
generative adversarial networks yo let's
go

English: 
I'll read the abstract the abstract acts
as a short standalone summary of the
work of the paper that people can use as
an overview if the abstract is
compelling an adversarial process
between two neural networks that were
temples a game all right this is lit
then I'll skim through the rest of the
paper by that I mean I'll carefully read
the introduction then read the section
and subsection headings but ignore
everything else mainly ignore the math I
never read the math on the first pass
I'll read the conclusion at the end and
maybe glance over the references
mentally ticking off the ones I've
already read if there are any I just
assume the math is correct on the first
pass my goal for this first pass is to
just be able to understand the aims of
the author what are the papers main
contributions here what problems does it
attempt to solve is this a paper I'm
actually interested in reading more of
once I've done the first pass I'll go
back to see what other people are saying

Russian: 
Я прочитаю аннотацию. Аннотация это краткая сводка информации в статье
которую люди используют для ознакомления. Если аннотация
интересна, состязательный процесс между двумя нейронными сетями,
окей это круто. Я пробегу по оставшейся части статьи
Я имею в виду что аккуратно прочту вступление а потом разделы
и подразделы но проигнорирую всю математику.
Я никогда не читаю математику на первом проходе. Я прочту заключение и
может быть посмотрю на рекомендованные ссылки, вычеркивая в уме те
которые уже прочитал. На первом проходе я просто предполагаю что вся математика правильная.
Моя цель для первого прохода - это просто понять цели автора
главный вклад статьи, какие проблемы она пытается решить
действительно ли я заинтересован в последующем прочтение этой статьи
После первого этапа я посмотрю что другие люди говорят об этой статье

English: 
about this paper and compare my initial
observations to theirs basically the aim
of this first pass is to ensure that
it's worth my time to continue analyzing
this paper live short and there are too
many things to read if it does pique my
interest then I'll reread it a second
time on the second pass I'll read it
again
this time more critically and I'll also
take notes as I go I'll actually read
all the English text and I'll try to get
a high level understanding of the math
that's happening in the paper so it's a
minimax game that looks to optimize a
Nash equilibrium okay I kind of get that
eventually the generator Network creates
fake samples that are indistinguishable
from the real thing
so the discriminator is powerless cool
I'll read the figure descriptions any
plots and graphs that are available and
try to understand the algorithm at a
high level a lot of times the author
will break down an equation by factoring
it out I avoid trying to analyze this on

Russian: 
и сравню свое первое впечатление с их мнениями. Основная цель
первого этапа - это удостовериться что статья стоит моего времени и
продолжения анализа. Жизнь коротка, слишком много вещей надо прочесть. Если статья
заинтересовала меня, то я прочту ее во второй раз. На втором этапе я прочту ее снова
в этот раз более критично. И ещё
я буду записывать заметки по мере чтения. Я прочту весь текст
и попытаюсь достичь высокого уровня понимания математики этой статьи. Итак это
минимаксная игра для оптимизации равновесия по Нэшу.
Хорошо, кажется понял.
В какой-то момент генеративная сеть начинает создавать примеры неотличимые
от реальных вещей, так что дискриминатор становится бессильным
Я прочитаю описание фигур  и графиков, которые доступны и
попробую хорошо понять алгоритм. Очень часто автор
разбивает уравнение, разложив его на более мелкие. Я стараюсь избегать их анализа

English: 
the second pass I see that it's using a
loss function called the
kullback-leibler divergence never heard
of that one but I do get the concept of
minimizing a loss function when I read
the experiments I'll try to evaluate the
results are they repeatable are the
findings well supported by evidence once
I've done that hopefully there is some
associated code with the repository
available on github I'll download the
code and start reading it myself
I'll try to compile and run the code
locally to replicate the results as well
usually comments in the code help
further my understanding I'll also look
for any additional resources on the web
that help further explain the text
articles summaries tutorials usually a
popular paper will have a breakdown that
someone else has done online that will
help drive the key points home for me
after this second pass I'll have a
Jupiter notebook full of notes and
associated helper images since I teach
this stuff on YouTube teaching is really

Russian: 
во время второго прохода. Я вижу что он использует функцию потерь
Kullback-Leibler divergence, никогда не слышал о такой но я знаю как работает
минимизация функции потерь. Я пытаюсь посчитать результат во время прочтения экспериментов
Повторяются ли они, достаточно ли они обоснованы
После этого, я надеюсь что есть код связанный со статьей
доступный на github. Я скачаю код и прочитаю его
Затем постараюсь скомпилировать и запустить код локально для репликации результатов.
Обычно комментарии в коде помогают лучше его понять. Еще я поищу
дополнительные ресурсы в интернете, которые также помогут понять текст
статьи, итоги, учебные пособия. Обычно популярные статьи хорошо разжеванные.
Это помогает не отходить от темы
После второго этапа у меня появляется полный записей Jupiter notebook
Ещё я добавляю в него полезные изображения потому, что я буду обучать этому на YouTube
Преподавание - это самый лучший способ полностью разобраться в теме.

Russian: 
Во время третьего прохода, я концентрируюсь только на математике, пытаясь понять каждую её часть
Иногда используя только бумагу и ручку я сам разбиваю уравнения в книге
Еще я пользуюсь Wikipedia для понимания
более сложных математических концепций как расхождение KL
И если я уверен в себе, я попробую воспроизвести статью программируя ее
используя гипер параметры и уравнения описанные в ней. После всего этого,
я буду чувствовать себя достаточно уверенно для обсуждения с другими людьми
Чтение научных публикаций это нелегкое дело, и никто не может быстро читать
длинные манипуляции сложными уравнениями. Весь секрет в том, чтобы никогда не сдаваться
Превратите свои неудачи в топливо для развития. Вы поймете эту статью.
Вы выучите этот предмет. Вы станете профи в этой области. С каждым разом,
по мере заполнения вашего merkle-dag знаний, это становится проще. Заметили что я сделал?

English: 
the best way to fully understand any
topic when it comes to the third pass
it's all about the math my focus on the
third pass is to really understand every
detail of the math I might just use a
pen and paper and break down the
equations in the paper myself I'll use
Wikipedia to help me understand any of
the more formal math concepts fully
alike the KL divergence and if I'm
feeling really ambitious I'll try to
replicate the paper programmatically
using the hyper parameter settings and
equations that it describes after all of
this I'll feel confident enough to
discuss it with other people
greeting papers is not easy and nobody
can read long manipulations of
complicated equations fast the key is to
never give up
turn your frustrations into fuel to get
better you will understand this paper
you will master this subject you will
become awesome at this it gets easier
every time as you build your merkel dag
of knowledge see what I did there if you

Russian: 
Если вы не поняли математику, Khan Academy научит вас всему
что вам необходимо, бесплатно. И, наконец, не стесняйтесь обращаться за помощью
есть исследовательские группы и сообщества в Интернете, которые сосредоточены вокруг последних исследований в
машинном обучение. В них вы можете задавать вопросы. Не бойтесь связываться с
исследователями. На самом деле, вы оказываете им услугу позволяя объяснить себе
что-то понятным для вас языком. Всем учёным необходимо больше
опыта в обьяснение сложных тем. У меня есть для вас множество полезных ссылок
в описании. И я надеюсь это видео было полезным для вас. Если вы хотите узнать больше
о машинном обучении, ИИ и технологии block-chain, подписывайтесь на канал
А сейчас мне нужно прочитать статью о капсульных сетях. Спасибо за просмотр

English: 
don't get a math concept guess what
Khan Academy will teach you anything you
need to know for free and lastly do not
hesitate to ask for help there are study
groups and communities online that are
centered around the latest research in
machine learning that you can post your
questions to don't be afraid to reach
out to researchers as well you're
actually doing them a favor by having
them explain to you in terms you
understand all scientists need more
experience translating complex topics
I've got lots of great links for you in
the description and I hope you found
this video useful if you want to learn
more about machine learning AI and block
technology hit the subscribe button and
for now I've got to reread the capsule
Network paper so thanks for watching
