
Portuguese: 
Olá a todos.
Meu nome é Lily.
Eu trabalho na nossa equipe
de imagens médicas em Brain.
Em uma vida anterior,
eu era médica,
e eu fui reaproveitada como
gerente de produto no Google.
Então uma das coisas...
um dos projetos em que temos
trabalhado em nosso grupo
é a usar a aprendizagem profunda
para imagens da retina.
Em particular, estamos
pesquisando uma doença
chamada Retinopatia diabética.
Além de uma palavra complicada,
também é, na verdade,
a causa de cegueira
que mais cresce no mundo,
por ser uma complicação da diabetes.
E a diabetes...
Existem 415 milhões de pessoas
no mundo com diabetes,
e cada uma delas corre
o risco de ficar cega
devido ao que chamamos RD,
ou Retinopatia diabética.

Spanish: 
Hola a todos.
Soy Lily.
Trabajo en nuestro equipo
de diagnóstico por imágenes en Brain.
En mi vida anterior, era médica
y me reconvertí en gerente
de productos en Google.
Uno de los proyectos en los que
trabajamos en nuestro grupo
es el uso del aprendizaje profundo
en la imagen retiniana.
En particular, investigamos una enfermedad
llamada retinopatía diabética.
Además de ser una palabra difícil,
también es la causa de ceguera que crece
más rápidamente en el mundo.
Se debe a que es una complicación
de la diabetes.
Hay 415 millones de personas
con diabetes en el mundo,
y cada una de ellas corre 
el riesgo de quedarse ciega
debido a lo que llamamos
RD o retinopatía diabética.

Japanese: 
[2017年TensorFlow 開発者会議]
こんにちは皆さん
私はリリーです
Brainの医療画像チームで
勤務しています
前世では私は医者でした
現世では
Googleプロダクトマネージャーとして
目的を果たしています
私達のグループで取り組んでいる
プロジェクトの１つは
網膜画像への深層学習の応用です
特に見ているのは
糖尿病性網膜症という病気です
長い病名ですが これは実際
世界中で
盲目の急進行原因ともなっています
これは糖尿病の合併症だからです
糖尿病は―
世界で4億1千5百万人もの人々が
この病気を抱え
それぞれの人が
糖尿病性網膜症（DR）のため
盲目になる危険にさらされています

Korean: 
여러분 안녕하세요
저는 릴리입니다
저는 브레인의 의학 영상팀에서
일하고 있습니다
전생에 저는 의사였습니다
이번 생에선 구글의 상품 매니저로
용도 변경되었죠
현재 저희 팀에서
연구 중인 프로젝트 중 하나는
딥러닝을 이용해 망막 이미지 촬영을
연구하는 것입니다
특히 당뇨 망막병증이라는 질환에
관심을 두고 있습니다
이 병은 이름이 어렵기도 하지만
전세계에서 가장 빠른 속도로
늘고 있는 실명의 원인입니다
당뇨의 합병증이기 때문이기도 합니다
전세계의 당뇨병 환자는
4억 1500만명에 달합니다
그리고 각각의 당뇨병 환자는
DR 즉 당뇨 망막병증으로 인해
실명할 위험이 있습니다

English: 
[MUSIC PLAYING]
LILY PENG: Hi, everyone.
So, I'm Lily.
I work on our medical
imaging team in Brain.
In a previous life,
I was a doctor,
and I've been repurposed as
a product manager at Google.
[LAUGHTER]
One of the projects that we've
been working on in our group
is using deep learning
for retinal imaging.
In particular, we are
looking at a disease
called diabetic retinopathy.
Other than a mouthful,
it's actually also
the fastest growing cause
of blindness in the world,
and it's because this is a
complication of diabetes.
There are 415 million people
in the world with diabetes,
and each one of them
is at risk for going

Indonesian: 
Hai, semuanya.
Jadi, saya Lily.
Saya bekerja di tim
pencitraan medis di Brain.
Di kehidupan lalu,
saya adalah dokter
lalu dipindahkan menjadi
manajer produk di Google.
Salah satu proyek yang kami
kerjakan dalam tim kami
adalah memakai deep learning
untuk pencitraan retina.
Secara khusus, kami
mendalami penyakit
yang bernama
retinopati diabetik.
Ini bukan pembelit lidah,
tetapi sebenarnya
penyebab kebutaan
terganas di dunia
dan ini disebabkan
komplikasi diabetes.
Terdapat 415 juta orang
penderita diabetes di dunia
dan setiap penderita
berisiko terkena

Chinese: 
[音乐]
莉莉·彭：大家好。
我叫莉莉。
我在Google大脑的医学图像团队工作。
我上辈子是一名医生，
这辈子我成了Google的产品经理。
[笑声]
目前我们团队在做的项目之一
是将深度学习技术
运用在视网膜图像上。
确切来说，我们关注的是一种
称为“糖尿病视网膜病变”的疾病。
除了名字很拗口之外，
它还是世界上增长最快的
致盲原因，
因为它是糖尿病的并发症。
糖尿病是 --
全世界有4.15亿人患有糖尿病，
每个患者都有可能
因糖尿病视网膜病变（DR）而失明。

Korean: 
실명을 방지하려면
정기적인 검사를 받아야 합니다
국제적으로 권장되는 검사 주기는
1년입니다
회복불가한 시력 손실이
발생하기 전까지는
자각증상이 거의 없기 때문입니다
증상을 자각했을 때는
치료하기엔 이미 늦은 것입니다
이 검사는 특수 카메라로 동공을 통해
눈 뒤쪽의 영상을 촬영합니다
그 다음, 의사가 이미지를 평가합니다
영상에서 이런 작은 출혈과
반점의 존재를 확인합니다
그리고 5개의 등급 중 하나로
평가합니다
정상 등급에서부터 일종의 증식성 DR인
말기 등급이 있습니다
저희 이야기가 시작된 인도 뿐만 아니라
세계의 많은 지역에서
이 업무를 수행할 수 있는
의사가 부족합니다
인도에는 약 12만 7천 명의
안과의사가 부족합니다
이러한 이유와 기타의
체계적인 문제 때문에

English: 
blind due to what we call
DR, or Diabetic Retinopathy.
The key to preventing
blindness is regular screening.
Every guideline worldwide
recommends about once a year
screening, and it's because
this is pretty asymptomatic
until you get to a point where
there's irreversible vision
loss.
And at that point, it's a
little too late to intervene.
This is done by taking a picture
using a specialized camera
of the back of the eye
through your pupil,
and then a doctor
grades these images.
We look for these little
hemorrhages and little spots
on the image, and we grade
them on a five-class scale
from no disease to
the end stage, which
is sort of proliferative DR.
In many places in
the world, including
in India where our
story originated,
there are just simply not
enough doctors to do this task.
In India, there is a shortage
of 127,000-some eye doctors,
and because of this and
other systematic issues,

Spanish: 
La clave para prevenir la ceguera 
es realizar exámenes regulares.
Las directrices en todo el mundo
recomiendan un examen una vez al año,
puesto que es bastante asintomática,
hasta llegar a un punto donde 
la pérdida de visión es irreversible
y, en ese punto, ya es
muy tarde para intervenir.
Se toma una foto,
con una cámara especializada,
de la parte posterior del ojo 
a través de la pupila
y luego el médico evalúa esas imágenes.
Buscamos esas pequeñas 
hemorragias y manchas en la imagen
y las clasificamos en una escala
de cinco categorías,
que van desde ausencia
de la enfermedad hasta la etapa final,
que es la RD proliferativa.
En muchos lugares del mundo,
incluida la India, donde se originó
nuestra historia,
simplemente no hay médicos
suficientes para hacer esta tarea.
En la India, hay una escasez 
de 127,000 de oftalmólogos
y, debido a ello y a otras
cuestiones sistemáticas,

Portuguese: 
O segredo para prevenir a cegueira
é fazer exames regulares.
Então toda diretriz pelo mundo todo
recomenda exames uma vez ao ano,
por ser bastante assintomática
até você chegar a um ponto onde 
a perda de visão é irreversível.
E nesse ponto, é um pouco
tarde demais para intervir.
Então...
Isso é feito tirando uma foto
utilizando uma câmera especializada,
de fundo do olho através da pupila
e então, um médico
classifica essas imagens.
Nós procuramos por essas pequenas
hemorragias e pequenos pontos na imagem
e as classificamos
em uma escala de cinco categorias
de "sem doença" até o estágio final,
que é a RD proliferativa.
Em muitos lugares do mundo,
incluindo a Índia,
onde nossa história se originou,
não existem médicos
suficientes para realizar esa tarefa.
Na Índia, existe uma carência de 
aproximadamente 127 mil oftalmologistas,
e, por causa disso,
e outros problemas sistemáticos,

Chinese: 
防止失明的关键就是定期检查。
世界各地的医疗准则
都建议每年做一次检查，
这种病在出现不可逆的视觉损伤前
都没有临床症状，
而到那时再采取措施就有点晚了。
我们会用特制相机
通过瞳孔拍摄一张眼底照片，
之后医生会对这些图像进行分级。
我们在图像上寻找这样的出血点和小点，
按5个级别进行分类，
从无病变到晚期，
晚期指的是增生性的
糖尿病视网膜病变。
在世界上许多地方，
包括印度，这是我们研究
开始的地方，
这里没有足够多的
医生来做这件工作。
印度眼科医生的缺口
差不多有12万7千人，
正因如此，再加上系统上的问题，

Japanese: 
この失明を予防するには
定期検査が重要なので
世界各地のあらゆるガイドラインで
１年に１度の健診を推奨しています
もう後に戻れないという
失明状態になるまで無症状だからです
その時点では遅すぎて介入できません
検査は専用カメラを用いて
網膜を通した目の裏側の
画像を撮って行われます
そして医師が画像を評価します
画像上見ているのは
少量の出血と小さなスポットです
それを疾患なしから末期まで
５段階のスケールで評価します
増殖性DRの類です
私達の話が始まった
インドを含む世界の多くの地域で
この仕事を行う十分な医師が
単純にいないのです
インドでは12万7千名ほどの
眼科医が不足しています
これと他のシステム的な要因で

Indonesian: 
kebutaan karena yang disebut
RD atau retinopati diabetik.
Kunci pencegahan kebutaan
adalah pemeriksaan teratur.
Semua panduan di dunia
menganjurkan pemeriksaan
sekitar sekali setahun
dan ini karena tak ada gejala
hingga kau capai tahap
hilangnya penglihatan
permanen.
Pada tahap itu, intervensi
sudah agak terlambat.
Ini dilakukan dengan memotret
memakai kamera khusus
pada belakang mata
melalui pupilmu
lalu dokter akan
menilai gambar-gambar ini.
Kami mencari pendarahan kecil
dan titik kecil seperti ini
pada gambar lalu kami nilai
berdasar skala lima-kategori,
dari tidak berpenyakit
hingga tahap akhir, yaitu
semacam RD
yang telah menjalar.
Di berbagai penjuru
dunia, termasuk
India, tempat kisah ini
berawal,
jumlah dokter untuk lakukan
pemeriksaan ini kurang.
Di India, terjadi kekurangan
sekitar 127.000 dokter mata
dan karena hal ini
serta masalah sistematis lain,

English: 
about half of people actually
suffer vision loss before
they're even diagnosed.
For something that's
completely preventable,
this is sort of unacceptable.
Here is a picture of
some of the people
who are waiting in
line to get screened.
Even if you get to a place
where there is screening,
there is a long wait.
There is long turnaround
time, and so a lot of people
end up being lost to care.
The other issue is that
even when available,
doctors are
surprisingly variable.
Here in this graph, each color
represents a different class
of category of
disease, and each row
is a patient image
of that fundus image,
and each column represents
an ophthalmologist.
These are US board-certified
ophthalmologists,
and we had given
them the test set
when we were trying
to attack this problem
to see what the grades
were for each of them.
And as you can see,
when there's no disease,

Spanish: 
casi la mitad de la población
sufre pérdida de la visión
antes de ser diagnosticada.
Para algo que es por completo
evitable es inaceptable.
Esta es una foto
de algunas de las personas
que están esperando 
para hacerse un examen.
Incluso si llega a un lugar
donde hay examen
hay una larga espera.
Se tarda mucho tiempo
en obtener una respuesta
por eso mucha gente
se queda sin cuidados.
La otra cuestión es que incluso
cuando están disponibles,
los médicos son
sorprendentemente variables.
En este gráfico, cada color
representa una clase diferente
de la categoría de enfermedad,
y cada fila es una imagen del paciente
de esa imagen de fondo ocular,
y cada columna 
representa un oftalmólogo.
Son oftalmólogos 
estadounidenses certificados
y les habíamos dado un set de pruebas
cuando estábamos intentando
atacar este problema
para ver las calificaciones
de cada uno de ellos.
Como pueden ver,
cuando no hay enfermedad

Korean: 
진단을 받기도 전에
절반 정도가 시력을 잃습니다
이는 완전히 방지할 수
있는 일이기 때문에
용납하기 어려운 것입니다
이것은 검사를 받기 위해
줄을 서서 기다리는 사람들의 사진입니다
검사가 가능한 곳으로 간다고 하더라도
줄을 길게 서야 합니다
검사 소요 시간이 길기 때문에
많은 사람들은 관리를
받지 못하게 됩니다
다른 문제는
검사를 받을 수 있다 하더라도
의사들의 의견이 놀라울 정도로
일정치 않다는 점입니다
여기 도표를 보면 각 색깔은
질병의 다른 등급을 나타내고
각각의 행은
환자의 눈 기저부 사진을 나타냅니다
각 열은 안과의사입니다
모두 미국 공인 안과의사입니다
이 문제를 해결하기 위해
저희는 이들에게 진단 세트를 제공하고
각 사진의 등급을 진단하도록 했습니다
보시듯이 병이 없을 때는

Chinese: 
差不多有一半的患者
还没来得及确诊
就已经失明了。
对于这种可以完全预防的事，
这种结果让人无法接受。
这张照片里是
排队等待做检查的人们。
即使你找到了可以做检查的地方，
也需要排很久的队。
这样一来周期就很长，
因此很多人根本没办法得到治疗。
此外，即便可以见到医生，
诊断结果也常有不同。
在这张图表中，不同的颜色
代表疾病类别的不同等级
每一行代表的
是一个病人的眼部基底图像，
每一列代表的是一名眼科医生。
这些都是美国委员会认证的眼科大夫，
我们给他们一些测试，
看他们能不能准确判断出
病人处于疾病的哪个阶段。
可以看到，
当患者没生病的时候，

Indonesian: 
sekitar separuh penderita telah
kehilangan penglihatan sebelum
mereka didiagnosis.
Untuk sesuatu
yang sangat bisa dicegah,
ini agak sulit
diterima.
Ini foto beberapa orang
yang mengantri
untuk diperiksa.
Meski kau sampai di tempat
yang mengadakan pemeriksaan,
ada antrian panjang.
Waktu pemeriksaan sangat lama
sehingga banyak orang
akhirnya tidak dapat
diperiksa.
Masalah lainnya,
meskipun tersedia,
ternyata dokter
sangatlah beragam.
Dalam grafik ini, tiap warna
menunjukkan bedanya kelas
kategori penyakit
dan tiap baris
adalah foto fundus
pasien tersebut,
sedangkan tiap kolom
tunjukkan seorang oftalmolog.
Ini oftalmolog bersertifikat
dewan AS
dan kami beri mereka
seperangkat tes
saat kami berusaha
menjawab masalah ini,
untuk melihat apa nilai
yang mereka berikan.
Dan seperti kau bisa lihat,
jika tak ada penyakit,

Portuguese: 
mais ou menos metade
das pessoas perde a visão
antes mesmo de ser diagnosticada.
Sendo algo completamente evitável,
isso é inaceitável.
Aqui temos uma foto de algumas pessoas
esperando na fila para o exame.
Então mesmo se você for a
um lugar para ser examinado,
existe uma longa espera.
Existe uma demora muito
grande para resposta,
então muitas pessoas acabam
deixando de se cuidar.
O outro problema é que,
mesmo quando estão disponíveis,
os médicos são
surpreendentemente variáveis.
Aqui no gráfico, cada cor representa 
uma categoria diferente da doença,
e cada linha é uma imagem de paciente
daquela imagem do fundo ocular,
e cada coluna representa
um oftalmologista.
Esses são oftalmologistas
americanos certificados,
e nós demos a eles um conjunto de testes
de quando estávamos tentando
atacar esse problema
para ver quais eram as
classificações de cada um deles.
E como vocês podem ver,
quando não há nenhuma doença,

Japanese: 
診断前にも
半数の人々が失明で苦しんでいるのです
完全に予防可能なことなので
これは受け入れ難いことです
こちらは検査待ちで列に並ぶ人々の写真です
検査が行われている場所に着いても
長時間待たされます
多くの人は長い待ち時間のために
結局 検査への関心を失ってしまうのです
他にも問題があり
検査ができても
医師の画像評価は驚くほどさまざまです
このグラフで各色は
疾患の段階別の程度を表し
各行は患者の眼底画像を示しています
各列は眼科医を表します
米国委員会認定の眼科医に
この問題に着手しようとしていたとき
私達は試験セットを提供しました
各事例に対する評価内容を見るためです

Chinese: 
大家的判断都很一致。
除了一名医生外，
其他人的看法都很统一。
同样的，到最后阶段，
出现了增生病变，
大家意见也很统一。
但对那些处在中间阶段的病人，
情况就大不相同了，
大家对于疾病所处阶段
的判断很不一样，
即便诊断准则非常明确，
因为这是人类的特点，
总是不能非常精确地判断
在图像中看到了什么，
可以看到用黑色框线标记的这两排。
它们包含了所有等级，对吧？
因此帮你看病的医生不同，
诊断结果可能完全不一样。
关于这个我们一会再继续聊。
我们能提供的帮助
就是训练一个模型。
我们制作了一个标签工具。
一开始分析了13万张图像，
之后分析了更多，
我们请很多眼科医生

Japanese: 
ご覧のように疾患なしの場合は
かなり一致しています
１名の反対以外
医師の見解は一致しています
末期も見ますと
増殖性疾患がある場合
こちらもかなり一致しています
しかしその中間は 大変ばらつきがあり
良く知られたガイドラインがあっても
どの段階に当てはめるべきかに相違があります
なぜなら人間は一般的に
画像をきっちり正確に見ることにかけて
それほど優れていないからです
黒で強調した２つの行では
同じ画像なのにガイドラインの
すべての評価段階が付いています
誰に診てもらうかによって
処置が違う可能性があるのです
それに関して
あとでもう少し詳しくお伝えします
そこで私達が役立てると考えたのは
モデルのトレーニングでした
ラべリングツールをビルドしました
13万枚の画像で始めました
今では遥かに多い数です
軍の眼科医を雇用し
ラベル付けを手伝ってもらいました

Korean: 
거의 의견이 일치됩니다
다르게 생각하는 사람이
한 명 있지만
다른 모든 사람들은
의견이 일치했습니다
그리고 말기 단계도 살펴보죠
증식성 질병이 있을 때도
뛰어난 의견일치를 보여줍니다
꽤 잘 알려진 가이드라인이
있음에도 불구하고
그 중간 단계에서는
진단의 변동성과 불일치가
상당히 많이 발견됩니다
그 이유는 일반적으로 사람은
영상판독을 아주 뛰어날 정도로 잘하지는 못하기
때문입니다
여기 검정색으로 표시된
두 개의 행을
봐주세요
이 영상들은 모든 등급을 다 받았습니다
그래서 검사를 하는 안과의사에 따라
처방은 좀 달라질 것입니다
이 부분은 나중에
더 다루겠습니다
하나의 모델을 훈련시킬 수
있겠다는 생각을 했습니다
그래서 실제로 분류 도구를
만들었습니다
우선 13만개의 영상으로
시작했습니다
그 이후 더 많은 영상을
추가했습니다
그리고 분류 작업을 위한 도움을 받기위해
많은 안과의사들을

English: 
there is pretty good agreement.
There's one person
who thinks otherwise,
but everyone is the
consensus is there.
And then, of course, you
look at the end stage
when there's
proliferative disease,
there's good
agreement there, too.
But in between,
there's actually a lot
of variability and
disagreement about where
this should actually
fit, even though there
are pretty well-known
guidelines,
and it's because human
beings in general
just aren't super great at
being very precise about what
we see in that image.
And of course, you can see
the two highlighted rows
there in black.
These images got every
grade in the book, right?
So depending on who you
saw, your management
would be kind of different.
A little bit more
about that later.
Where we thought we could
help was let's train a model.
And so we actually
built a labeling tool.
We started off with
130,000 images,
and we've gotten
much more since then,
and we hired an army
of ophthalmologists

Spanish: 
están bastante de acuerdo.
Hay una persona
que piensa lo contrario,
pero hay consenso.
Y luego, por supuesto, 
al ver la etapa final
cuando hay enfermedad proliferativa
están de acuerdo allí también.
Pero en el medio, hay mucha
variación y desacuerdo
sobre dónde deberían encajar,
aunque las directrices
son bastante conocidas
y es porque los seres humanos,
en general,
simplemente no somos muy precisos
sobre qué vemos en esa imagen.
Y, por supuesto, pueden ver
las dos filas resaltadas en negro.
Estas imágenes tienen todas
las clasificaciones posibles.
Así que según quién vio la imagen,
la evaluación sería diferente.
Hablaremos de eso más tarde.
Pensamos que podríamos
ayudar al formar un modelo.
Así que construimos
una herramienta de clasificación.
Comenzamos con 130,000 imágenes
y hemos conseguido
mucho más desde entonces,
y contratamos a un ejército
de oftalmólogos

Portuguese: 
existe uma boa concordância.
Existe uma pessoa que pensa diferente,
mas há um consenso.
E então, é claro, você olha
para o estágio terminal
de quando há uma doença proliferativa,
que eles também concordam bastante.
Mas no meio, existe uma grande
variabilidade e discordância
sobre onde deveria se encaixar,
mesmo que as diretrizes sejam bem claras,
e isso acontece porque
seres humanos, em geral,
não são muito precisos
sobre o que vemos naquela imagem.
E é claro, você pode ver as duas
linhas destacadas em preto.
Essas imagens tem todas
as classificações possíveis, certo?
Dependendo de quem você viu,
sua avaliação seria diferente.
Um pouco mais sobre isso depois.
Onde pensamos que poderíamos
ajudar foi treinando um modelo.
Então construímos
uma ferramenta de classificação.
Nós começamos com 130 mil imagens,
e obtivemos muito mais depois,
e contratamos um exército
de oftalmologistas

Indonesian: 
terdapat kesepakatan
cukup baik.
Ada satu orang
yang berpendapat lain,
tapi semuanya
setuju di sana.
Lalu tentunya, kau
lihat pada tahap akhir,
yaitu adanya
penyakit menjalar,
terdapat kesepakatan bagus
juga di situ.
Tapi di antaranya,
sebenarnya banyak
keragaman dan perbedaan
pendapat tentang di mana
ini seharusnya berada,
meskipun ada
panduan yang
cukup terkenal
dan itu karena
manusia secara umum
tidak terlalu hebat
dalam presisi terkait apa
yang kita lihat
pada gambar itu.
Tentu saja, kau bisa lihat
kedua baris yang disorot
dengan warna hitam
di situ.
Gambar ini dapat
semua nilai dalam buku, kan?
Tergantung siapa yang
kautemui, penangananmu
akan agak berbeda.
Lebih lanjut tentang itu nanti.
Kami pikir kami bisa membantu
untuk melatih sebuah model.
Lalu kami benar-benar
membuat alat pelabelan.
Kami mulai dengan
130.000 foto,
dan mendapatkan jauh
lebih banyak sejak itu,
dan kami mempekerjakan
sepasukan oftalmolog

Portuguese: 
para nos ajudar a classificar.
E com os nossos 54 oftalmologistas,
nós conseguimos 880 mil
diagnósticos para essas imagens.
E vocês podem ver, pelo slide anterior
porque fizemos isso, porque algumas vezes
precisamos de sete leituras
para conseguir algo consistente.
Então o que fizemos depois 
de limpar e classificar esses dados,
usamos nossa rede Inception
que funciona para muitas tarefas
de reconhecimento de imagens,
desde gatos, filhotes, 
para melanoma, e agora RD.
E nós a treinamos para detectar
essas cinco classificações,
mas também pedimos para
prever outras coisas,
coisas que podem ser importantes
para um clínico saber.
Se a qualidade da imagem
é suficiente para classificação,
se este é o olho direito ou esquerdo.
Algumas vezes nós ficamos confusos.
E também o campo de visão,
que é a parte da retina você está vendo.
E então construímos
uma interface para isso.
Eu vou tentar fazer uma demonstração aqui.

Japanese: 
54名の眼科医から
これら画像に対し88万件の診断を得ました
前のスライドで私達がこうした理由を
皆さんご覧になれますが
一貫性を得るため
読み込みに７回かかるときもあったからです
データを得たあと
きれいにしてラベル付けしました
信頼できる旧来の
インセプションネットワークを用いて
多量の画像認識処理を行いました
ネコから子イヌから黒色腫
そして今回はDRの画像です
そして５段階予測を検知するよう
モデルに学習させました
またハウスキーピング予測も
学習させました
画像が評価に十分な質か
左目か右目かを知ることは
臨床医にとって重要な場合があるからです
混乱することもありました
また視野もです
これはどの網膜の部分を
実際見ているかというものです
そしてこれにフロントエンドをビルドしました
ここでデモを試してみます

Indonesian: 
untuk membantu kami memberi label.
Dan dari 54 oftalmolog kami,
kami mendapat 880.000 diagnosis
untuk foto-foto ini.
Dan kalian bisa lihat
di tampilan sebelumnya
kenapa kami lakukan itu, karena
terkadang dibutuhkan lebih dari
tujuh pembacaan untuk
mendapatkan hasil yang konsisten.
Lalu yang kami lakukan
setelah data ini dirapikan
dan diberi label, kami menggunakan
jejaring awal kami yang tepercaya
yang berhasil dalam banyak
tugas pengenalan gambar,
mulai dari kucing sampai anak anjing
hingga melanoma dan sekarang RD.
Dan kami melatihnya untuk
mendeteksi prediksi lima kategori ini,
tapi kami juga memintanya
memprediksi hal-hal pembenahan
yang mungkin penting
bagi klinisi
untuk diketahui--
apakah gambar ini
cukup berkualitas
untuk penilaian,
apakah ini mata
kiri atau kanan.
Terkadang kami bingung.
Dan juga bidang pandang,
misalnya bagian mana dari
retina yang kaulihat sebenarnya.
Kemudian kami membuat
front end untuk ini.

English: 
to help us label.
And from our 54
ophthalmologists,
we got 880,000 diagnoses
for these images.
And you can see from
the previous slide
why we did that, because
sometimes it took up to seven
reads to get
something consistent.
Then what we did after
we got this data cleaned
up and labeled, we used
our trusty, dusty inception
network that works for a lot
of image recognition tasks,
from cats to puppies to
melanoma, and now DR.
And we trained it to detect
these five class predictions,
but we also asked it to
predict housekeeping things
that may be important
for a clinician
to know-- whether
or not this image is
of sufficient
quality for grading,
whether or not this is
a left or right eye.
Sometimes we get confused.
And also the field
of view, which
is like what part of the
retina you're actually seeing.
And then we built a
front end to this.

Chinese: 
帮我们做标记。
我们一共有54名眼科医生，
对这些图片进行了88万次诊断。
从刚刚的幻灯片大家能明白
为什么诊断数那么多
因为有时候需要
7次诊断才能得出一致的结论。
之后我们将数据进行整理，做好标记
然后使用我们信赖的起始网络，
之前曾用它来完成许多图像识别任务
从小猫小狗到胎素瘤，
到现在的糖尿病视网膜病变。
我们训练它识别5个等级的病症，
同时还会让它向临床医生
提供一些重要的基础信息。
比如图像是不是足够清晰，以便分级，
或者提示图像来自左眼或右眼。
有时候真的很难分清左右眼。
还有图像区域问题，
有时候不确定看到的
是视网膜的哪一部分。
为此我们编了一个前端程序。

Spanish: 
para ayudarnos en la clasificación.
Y, de nuestros 54 oftalmólogos,
tenemos 880,000 diagnósticos
para estas imágenes.
Pueden ver desde la diapositiva anterior
por qué hicimos eso,
porque a veces se tardaba hasta siete
lecturas para obtener algo coherente.
Lo que hicimos después 
de limpiar y clasificar esos datos
fue usar nuestra red Inception
que trabaja en muchas tareas 
de reconocimiento de imágenes
desde gatos y perritos,
hasta melanomas y ​​ahora RD.
La entrenamos para detectar
estas cinco clasificaciones
pero también le pedimos
que predijera los papeleos
que pueden ser importantes
para un médico clínico.
Saber si la calidad de esta imagen
es suficiente para clasificarla.
Si esto es un ojo izquierdo o derecho.
A veces nos confundimos.
Y también el campo visual,
es decir, qué parte de la retina se ve.
Luego construimos una interfaz para eso.

Korean: 
고용했습니다
54명의 안과의사들로부터
영상에 대한 88만건의 진단을 얻었습니다
이전 슬라이드에서 보셨듯이
일관적인 결과를 얻으려면
때로는 최대 7번의 진단이
필요했기 때문입니다
데이터를 정리하고 분류한 다음
고양이와 개에서부터
흑색종, DR에 이르기까지
다양한 영상인식 작업을
처리할 수 있는
신뢰할 수 있는 저희의 새로운
네트워크를 사용했습니다
그리고 이 네트워크가 5개의 등급을
예상할 수 있도록 훈련시켰습니다
또한 가정 용품도 예상할 수
있도록 요구했습니다
영상의 품질이 등급을
매길 수 있을 정도의 품질인지
우측 눈인지 좌측 눈인지를
의사가 아는 것이
중요하기 때문입니다
사람은 자주 혼동합니다
또한 화각, 즉 망막의 어느 부분을
보고있는지도 알아야 합니다
저희는 이를 위해
프런트 엔드를 구축했습니다

Spanish: 
Voy a hacer una demostración aquí.
Esto es literalmente
lo que yo llamo una tostadora.
Tratamos de arrastrar y soltar algo.
No sé realmente cómo...
¿cómo puedo mover el cursor?
Ahí está.
Voy a abrir un navegador
espero que funcione.
Voy a arrastrar una
de nuestras imágenes.
No puedo verla.
Ahí está.
Y está analizando.
Debería ser más rápido,
pero la demostración...
está cooperando.
Así que podemos decir que aquí 
hay una enfermedad proliferativa.
No es lo que nosotros llamamos DMU
​​que es un tipo diferente de RD.
Y podemos decir que está 
entre moderada y grave.
Esto es realmente algo
entre moderado y grave.
Les mostré cómo funciona 
en un caso específico,
pero, ¿cómo funciona
con un montón de imágenes?

English: 
I'm going to try a demo here.
This is literally
what I call a toaster.
We try to drag and
drop something.
I don't know actually how
to-- how do I move the cursor?
Oh, there we.
Are So I'm going to
open up a web browser,
and hopefully that works.
I'm going to drag one
of our images over.
I can't see it.
Oh, there we go.
And it analyzing.
It should be
faster, but the demo
gods-- oh, it's cooperating.
So here we are able to
tell you that there's
proliferative disease here.
There is no what
we call DMU, which
is a different
type of DR. And we
are saying that this
is somewhere between
moderate and severe, and
this is indeed something
between moderate and severe.
I kind of showed you how it
works on a case-by-case basis,
but then how does it work
over a lot of images?

Portuguese: 
Isso é o que eu chamo
literalmente de uma torradeira.
Nós tentamos arrastar
e soltar alguma coisa.
Eu não sei na verdade como...
como eu movo o cursor?
Aqui está.
Então eu vou abrir o browser...
e espero que funcione.
E eu vou arrastar uma
de nossas imagens aqui.
Não consigo ver.
Aqui está.
Está analisando.
Deveria ser mais rápido,
mas o deus da demo...
Opa! Está cooperando.
Então aqui podemos dizer
que há uma doença proliferativa.
Não existe o que chamamos DMU,
o que é um tipo diferente de RD.
E está em algum ponto
entre moderado e severo,
e isso é, com certeza, algo
entre moderado e severo.
Eu mostrei a vocês
como funciona em um caso específico,
mas como funciona com muitas imagens?

Chinese: 
下面我来做一个演示。
我管它叫面包机。
我们要进行一下拖拽的操作。
我不知道我的……我怎么才能移动光标？
啊，找到了。
打开浏览器页面，
希望能成功。
把图像拖到这里。
被我拖哪儿去了？
哦，在这里。
它会进行分析。
应该比这个快的
天哪……哦！居然可以了。
这里，图像显示
有增生性的病变。
但没有DMU的症状，
DMU是糖尿病视网膜病变
的另一种形式。
我们可以判断这名患者
的病症介于中等和严重之间，
实际情况的确如此。
刚刚我向大家展示的
是逐案分析的情况，
那么在图像很多的时候
它是如何工作的呢？

Japanese: 
これは文字通りトースターと呼ばれるものです
何かドラッグ＆ドロップしましょう
方法がわかりません
カーソルをどこへどう動かせばいいのか
ああここですね
ウェブのブラウザを開けます
動くといいのですが
画像の１つをここにドラッグします
見えませんね
よさそうです
分析しています
もっと速いはずですが
デモ版は―
今出ましたね
ここには増殖性の疾患があると言えます
糖尿病性網膜症の別の型の
DMUはありません
分析ではこれは
中度から重度の間だと言っています
確かに中度から重度の間の疾患です
症例で個別的に
性能を少しご覧に入れましたが
多数の画像ではどうでしょうか

Indonesian: 
Saya akan mencoba sebuah demo.
Ini benar-benar apa
yang saya sebut pemanggang.
Kami coba menyeret
dan melepas sesuatu.
Saya sesungguhnya tak tahu bagimana--
bagaimana cara menggerakkan kursornya?
Oh, di sana.
Jadi, saya akan membuka web browser,
semoga itu berhasil.
Saya akan menyeret salah satu
dari foto-foto yang kita punya.
Saya tak bisa lihat.
Oh, itu dia.
Dan sedang menganalisa.
Seharusnya lebih cepat,
tapi demonya
astaga-- oh, dia bekerja sama.
Jadi di sini kami bisa katakan
pada kalian bahwa ada
penyakit menjalar.
Ini bukan yang kami sebut DMU,
yang merupakan tipe berbeda
dari RD. Dan kami
katakan ini adalah
sesuatu antara
moderat dan parah, dan
ini jelas-jelas sesuatu
di antara moderat dan parah.
Saya menunjukkan cara kerjanya
kasus demi kasus,
tapi kemudian bagaimana itu
bekerja di antara banyak foto?

Korean: 
여기서 데모 버전을
보여드리겠습니다
저는 이걸 직설적으로
토스터라고 부릅니다
여기에 뭔가를 끌어서
놓아 보겠습니다
커서를 어떻게 움직이는지
잘 모르겠네요?
아 되네요
웹 브라우저를 열겠습니다
잘 작동해야 할텐데요
영상을 하나
끌어오겠습니다
안 보이네요
아 여기 있습니다
분석 중입니다
더 빨라야 합니다만
데모 버전이라
아 이제 도와주네요
여기 증식성 질환이 있다고
말할 수 있겠습니다
DR의 다른 유형인 DMU는
존재하지 않습니다
중간과 심각함의 중간쯤이라고
알려주고 있습니다
실제로 중간과 심각함의
중간쯤입니다
개별적인 영상의 경우 어떻게
작동하는지 보여드렸습니다만
하지만 영상이 많은 경우엔
어떻게 작동할까요?

Indonesian: 
Nah, di sini kami sebenarnya
mempublikasikan dan membagikan
bagaimana kami melakukan pekerjaan ini
dalam "Journal of the American
Medical Association," dan
ini adalah salah satu tes atau
rangkaian validasi
yang digunakan.
Model ini tidak dilatih atau diuji
pada hal ini sebelumnya.
Dan dari 9.963 foto,
kami memprediksi apakah
itu mengacu pada suatu penyakit.
Sumbu y adalah sensitivitas.
Sumbu x adalah 1
dikurangi kekhususan.
Dan algoritma kami dan
kedua titik hitam,
jika kalian sungguh bisa
melihatnya, itu berwarna hitam.
Itu algoritma kami.
Titik-titik kecil
berwarna yaitu
oftalmolog bersertifikasi dari AS.
Ke kiri itu bagus, dan kalian
lihat pada dasarnya kami
sangat dekat pada kebanyakan
oftalmolog dalam hal
kinerja.
Dan faktanya, jika kalian
lihat F-score kami,
dan bandingkan algoritma F-score
dengan mediannya,
oftalmolog semacam
berada di tengah kelompok.
Salah satu alasan kami memutuskan
untuk mengumumkannya di JAMA

Chinese: 
我们曾经在《美国医学会杂志》
发表过我们的工作方法，
这是我们使用的众多测试
或者说认证之一。
这个模型在之前并没有经过训练或测试。
在分析了9963幅照片
之后，我们能够预测
患者是否患有
需转院治疗的病症。
y轴是灵敏度。
x轴是1减去特异度。
我们的算法……看这两个黑点，
如果你们大家能看清的话，是黑色的点。
它们代表我们的算法。
还有一些彩色的点，
代表的是美国的委员会认证医生。
越往左代表越好，可以看到
我们的算法从表现上来看
跟医生非常接近。
实际上，比较一下算法和中位数的F-score，
眼科医生的基本都位于数据的中部。
我们之所以要在《美国医学会杂志》上发表，

Korean: 
'미국 의학 협회 저널(JAMA)'에 그 방법을
발표하고 공개했습니다
이것은 저희가 사용하는 테스트 또는
인증 세트 중의 하나입니다
이 모델은 이전에 훈련시켰거나
테스트한 적이 없습니다
9,963개 중의 영상에 대해
전문의의 진료가 필요한지
예측했습니다
Y축은 민감도(Sensitivity)입니다
x축은 1 마이너스 특이성
(1 minus specificity)입니다
저희 알고리즘은
두 개의 검정색 점입니다
보시면 검정색으로 된 것이
저희 알고리즘입니다
그리고 색깔이 있는 점은
미국 공인 안과의사입니다
왼쪽은 좋습니다
보시면 능력 측면에서
대부분의 안과의사에
아주 근접함을 알 수 있습니다
저희의 F스코어를 보시고
알고리즘과 중앙값의
F스코어를 비교하면
안과의사가 중간에 위치합니다
JAMA에 발표하기로 결정한
이유 중의 하나는

Portuguese: 
Bom, aqui nós publicamos
e compartilhamos
como fizemos esse trabalho no
"Jornal da Associação Médica Americana".
E esse é um dos testes
ou conjuntos de validação que usamos.
O modelo não foi treinado
ou testado nisso previamente.
E de 9.963 imagens, conseguimos prever
se havia ou não uma doença de referência.
O eixo y é a sensibilidade.
O eixo x é 1- especificidade.
E nosso algoritmo e os dois pontos pretos,
se você conseguir ver, está em preto.
Esse é o nosso algoritmo.
E os pequenos pontos coloridos são os
oftalmologistas americanos certificados.
E para a esquerda é bom,
você pode perceber que, essencialmente,
estamos muito próximos
da maioria dos oftalmologistas
em termos de performance.
E de fato, se você olhar
para nosso valor F,
e comparar os algoritmos de valor F
com a média,
os oftalmologistas estavam
mais ou menos no meio.
Uma das razões porque também
decidimos publicar no JAMA

Spanish: 
Aquí publicamos y compartimos
cómo realizamos este trabajo
en la Revista de la Asociación 
Médica Estadounidense, JAMA,
y esta es una de las pruebas
o la validación que utilizamos.
El modelo no fue entrenado 
ni probado anteriormente.
De 9,963 imágenes, predijimos si
había una enfermedad relacionada o no.
El eje Y es la sensibilidad.
El eje X es 1- especificidad.
Nuestro algoritmo 
y los dos puntos negros
si pueden verlo, está en negro.
Ese es nuestro algoritmo.
Entonces los pequeños puntos coloreados
son los oftalmólogos certificados 
por la junta directiva de EE.UU.
A la izquierda está bien y se
puede ver que, esencialmente,
estamos muy cerca de la mayoría
de los oftalmólogos
en términos de rendimiento.
De hecho, si miran nuestra puntuación F
y se compara la puntuación F 
de los algoritmos con la de la media
los oftalmólogos estaban
más o menos en el medio.
Una de las razones por las que
decidimos publicar en JAMA

Japanese: 
米国医師協会の学会誌（JAMA）で
私達の研究実績を公表 共有しています
これは私達が使用する
試験または検証セットの１つです
モデルはこれに関して事前に学習
または試験済みのものではありません
9,963枚の画像から
画像が疾患に帰するかどうかを予測しました
y軸が感度
x軸が１－（マイナス）特異度です
アルゴリズムと２つの黒点ー
実際見ても黒ですが
それが私達のアルゴリズムです
小さな色の付いた点は
米国委員会認定の眼科医です
左方向は良く
能力面で眼科医に
大変近いのがおわかりでしょう
実際 私達のF値を見ると
そのアルゴリズムのF値を
眼科医の平均F値と比較すると
眼科医は群の中間といったところです
JAMAでの公表を決めた理由の１つは

English: 
Well, here we actually
published and shared
how we did this work in the
"Journal of the American
Medical Association," and
this is one of the tests
or the validation
sets that we use.
The model was not trained or
tested on this previously.
And out of 9,963 images,
we predicted whether or not
it had referrable disease.
The y-axis is sensitivity.
The x-axis is 1
minus specificity.
And our algorithm and
the two black dots,
if you can actually
see it, is in black.
That's our algorithm.
And then the little
colored dots are
US board-certified
ophthalmologists.
And to the left is good, and you
can see that essentially we're
very close to most of the
ophthalmologists in terms
of performance.
And in fact, if you
look at our F-score,
and you compare the algorithm's
F-score to that of the median,
ophthalmologists were sort
of in the middle of the pack.
One of the reasons we also
decided to publish in JAMA

Spanish: 
fue porque creemos 
que implicar a la comunidad médica
es muy importante 
para llevar esta tecnología
a manos de la gente
que realmente pueda usarla.
Fue en realidad
bastante bien recibida.
Pueden ver algunas citas 
de doctores sobre nuestro trabajo
y así que estamos muy
entusiasmados por eso.
¿Cómo nos ayudó TensorFlow?
En cada paso, creo...
nos ayudó a empezar de verdad
con un prototipo rápido.
Comenzamos nuestra arquitectura
con modelos ya entrenados
y realmente pudimos probar
diferentes variaciones de redes 
neuronales y encontramos,
quiero decir, literalmente descubrimos
que Inception B3 en este punto
fue el que mejor funcionó.
Pero podríamos probar
cosas muy rápidamente.
Y también ya entrenados.
Así que hicimos el "pre-entrenado"
en la red de imagen clásica
y descubrimos que allí había 
un aumento del rendimiento.
También nos ayudó a experimentar a escala,
con el soporte de GPU
y el entrenamiento rápido.
Esto nos permite realizar
diferentes experimentos

Portuguese: 
foi porque acreditamos que envolver
a comunidade médica
é muito importante para conseguir
levar essas tecnologias
até as pessoas que podem
usá-las efetivamente.
Ele foi muito bem recebido, na verdade.
Você pode ver algumas citações
de médicos sobre o nosso trabalho,
e estamos muito animados com isso.
Como TensorFlow nos ajudou?
Bom, em cada passo do caminho,
nos ajudou a começar de verdade
com uma prototipagem rápida.
Nós começamos nossa arquitetura,
modelos já treinados,
e conseguimos testar
diferentes variações de redes neurais
Nós, literalmente, descobrimos
que Inception B3, nesse ponto
funcionou melhor.
Mas podíamos testar
algumas coisas muito rápido.
E também fizemos o pré-treino.
Então, na verdade, fizemos o pré-treino
na rede de imagens clássica,
e descobrimos que havia 
um aumento de performance lá.
E isso também nos ajudou
a experimentar na escala,
então, suporte GPU e treino rápido.
Isso nos permite fazer todos
esses experimentos diferentes,

Chinese: 
原因之一就是我们相信
鼓励医疗工作者将这些技术
用在那些真正需要的人身上非常重要。
事实上这项技术也很受欢迎。
这里引用了一些医生
对我们工作的评价，
我们对此非常兴奋。
TensorFlow是如何帮助我们的呢？
这么说吧，在我们工作的每一步，
它都帮助我们快速进行原型设计。
我们搭建初始结构，预训练模型，
我们能尝试很多种不同的神经网络
我们甚至发现——
我们发现B3网络
在这里非常好用。
我们可以进行快速的尝试。
我们还进行了预训练。
我们对传统的图像网络
进行了预训练，
性能出现了大幅度增长。
它还帮助我们进行了大规模的实验，
比如GPU支持，快速训练等。
这些能帮助我们进行多种不同实验，

Japanese: 
医学のコミュニティに深く関与し
技術を実際に利用できる人々に提供することが
非常に重要だと信じているからです
実際に高評価を受けました
私達の仕事に関して
実際の医師からの引き合いもあり
非常に嬉しく思っています
TensorFlowがどう役立ったかというと
すべての課程で役立ったと思います
試作を素早く開始するのに非常に役立ちました
アーキテクチャや
事前学習モデルを始めましたし
ニューロネットワークの
別のバリエーションも試すことができました
現時点でInception-v3が
一番良く作動するのもわかりました
早くいろいろ試せたおかげです
事前学習もしました
旧来の画像ネットで事前学習させました
そこでパフォーマンスの向上がわかりました
スケールでの実験にも役立ちました
GPUサポートと高速トレーニングです

Indonesian: 
adalah karena kami percaya
bahwa memikat komunitas medis
sangat penting untuk
membuat teknologi ini
sampai ke tangan-tangan yang
sungguh dapat menggunakannya.
Itu sungguh
diterima dengan baik.
Anda bisa lihat beberapa kutipan
dari para dokter tentang karya kami,
dan karena itu kami
sangat bersemangat.
Bagaimana TensorFlow menolong kita?
Nah, pada tiap langkah,
menurut saya
itu benar-benar menolong kita
dalam membuat prototipe cepat.
Kami telah awali arsitektur
model pralatihan,
dan kami sesungguhnya bisa
mencoba variasi berbeda
jaringan otak, dan
kami temukan--
maksud saya, kami temukan
bahwa Inception--
B3 dalam hal ini--
bekerja paling baik.
Tapi kami bisa menguji
hal-hal dengan sangat cepat.
Dan sudah dilatih.
Jadi kami sudah melatih sebelumnya
pada jaringan foto klasik,
dan kami menemukan ada
kenaikan performa di sana.
Itu juga menolong kami
pada skala eksperimen, jadi
dukungan GPU dan pelatihan cepat.
Ini memungkinkan kami
lakukan berbagai eksperimen,

English: 
was because we believe that
engaging the medical community
is really important to
get these technologies out
into the hands of the people
who could actually use them.
It was actually
quite well-received.
You can see some quotes from
real doctors about our work,
and so we're really
excited about that.
How did TensorFlow help us?
Well, every step
of the way, I think
it helped us really start
with quick prototyping.
We had started our architecture,
pre-trained models,
and we actually were able to
try out different variations
of neuro-networks, and
we actually found--
I mean, we literally
found that Inception--
B3 at this point--
worked the best.
But we could try out
things very quickly.
And we also pre-trained.
So we actually pre-trained
on the classic image net,
and we found there was a
boost in performance there.
It also helped us to
experiment at scale, so
GPU support and fast training.
This allows us to run all
these different experiments,

Korean: 
실제로 사용할 수 있는 사람들의
손에 이 기술을 전달하기 위해서는
의학계와의 교류가
정말 중요하기 때문입니다
이 기술에 대한 반응은
상당히 좋았습니다
저희 기술에 대한 실제 의사들의
논평을 보실 수 있습니다
의학계의 호응에 저희는 흥분되어 있습니다
텐서플로(TensorFlow)가 저희를 어떻게 도왔을까요?
텐서플로는 빠른 프로토타입 제작을 통해
연구의 시작을 도왔습니다
저희는 사전 훈련된 모델인
아키텍처를 구축했었고
다른 종류의 신경망 네트워크들을
테스트해 볼 수 있었습니다
그러던 중 찾았는데
말 그대로 첫 모델인 B3를
발견했습니다
가장 작동이 잘 됐습니다
저희는 테스트를 빨리
해볼 수 있었습니다
그리고 사전 훈련도 했습니다
실제로 전형적인
이미지 넷에서 훈련했고
성능이 개선되었음을
알았습니다
또한 저희가 큰 규모로
실험하는 것도 도왔습니다
GPU 지원과 빠른 학습도 마찬가지입니다
저희가 서로 다른 실험들을
진행할 수 있도록 도왔습니다

Indonesian: 
berbagai macam pelabelan.
Jika kami punya label
baru atau berbeda,
ini membantu kami melakukannya.
Dan akhirnya, apa yang saya
pikir betul-betul penting
ialah bahwa itu memungkinkan kami
untuk menginvestasikan kembali upaya,
sehingga pemblokirnya tak lagi
ada di pembelajaran mesin
dan di latihan.
Itu sulit, dan jika kalian lihat
apa yang kami lakukan di sini,
kami benar-benar menerapakan
teknik mudah ML
di sini.
Hal yang luar biasa
sebenarnya adalah
menemukan masalah yang
tepat, mendapatkan data,
mendapatkan kecocokan dengan
apa yang ada pada foto,
kemudian kita bisa gunakan
paket ini, peralatan yang
mampu membuat kita
melatih model, yang sungguh
bekerja dengan sangat, sangat baik.
Dan itu juga, kemudian,
memungkinkan tim kami
untuk fokus
memvalidasi algoritma
dan mencari cara menyebarkannya
ke sistem kesehatan, yang
merupakan tantangan besar.
Selanjutnya apa?
Melatih model.

Chinese: 
用多种方法加标签。
当我们需要添加新的
或者不同的标签时，
它能提供很好的帮助。
最后，我认为非常重要的一点，
就是它能让我们团队
不断利用已取得的成就，
这样机器学习和训练上的阻碍
就不复存在。
这本来是很难的一件事，
我们所做的，
就是采用了非常简单直接的
机器学习技术。
关键之处就在于
找准问题，获取数据，
对照片所表现的信息达成一致，
我们就能利用这些数据和工具
对模型进行训练，而最终它的表现
也非常非常好。
这样一来，我们的团队
可以专注于让算法更加有效，
设法将我们的成果应用到卫生系统，
这对卫生系统而言
是一个巨大的挑战。
接下来我们做什么？
我们训练了一个模型。

English: 
different sort of labeling.
If we had new labels
or different labels,
it kind of helped us do that.
And finally, what I
think is really important
is that it really allowed our
team to reinvest the efforts,
so the blocker was no
longer in machine learning
and in training.
That's been hard to do, and if
you look at what we did here,
we actually applied very
straightforward ML techniques
here.
What was the magic
sauce was actually
finding the right
problem, getting the data,
getting agreement about
what was in the image,
and then we were able to use
this package, these tools that
were able to allow us to train
the models, that actually
performed really, really well.
And that also, then,
allows our team
to focus on validating
the algorithm
and figure out ways to deploy
it into health systems, which
in itself is a huge challenge.
What's next for us?
We train a model.

Portuguese: 
um jeito diferente de classificar.
Se temos novas classificações
ou classificações diferentes,
ele nos ajuda a fazer isso.
E finalmente, o que eu acredito
ser o mais importante
é que isso permitiu que nosso time
reinvestisse esforços,
então o bloqueio não estava mais
no aprendizado de máquina
ou no treinamento.
Isso sempre foi um pouco difícil de fazer,
e se você olhar o que fizemos aqui,
nós aplicamos técnicas
de ML muito simples aqui.
O tempero mágico foi encontrar
o problema real,
conseguir os dados,
conseguir uma concordância
sobre o que estava na imagem,
e então nós pudemos usar
esse pacote, essas ferramentas
que nos permitiram treinar os modelos.
Isso funcionou muito, muito bem.
E isso também,
permitiu que o nosso time
se concentrasse em validar o algoritmo
e descobrir maneiras de implantar
isso em sistemas de saúde,
o que, por si só, já é um grande desafio.
O que temos em seguida?
Nós treinamos o modelo.
Funcionou muito bem.

Korean: 
다른 종류의 분류 작업도 도왔습니다
저희에게 새로운 분류나
다른 분류가 있다면
분류를 도왔습니다
마지막으로 아주 중요한 점은
저희 팀이 그 노력들을 재투자할
수 있도록 도운 것입니다
그래서 그 기술은 더 이상
기계학습과 훈련을 하지 않고
있습니다
어려운 일이었고
저희가 한 일을 보시면
아주 간단한 ML 기술이
적용됐습니다
마법같은 해결책은
정확한 문제점을 찾고
데이터를 확보해서
영상의 정보에 대한
합의점을 찾는 것이었습니다
그 다음, 모델을 훈련시킬 수 있도록 해준
도구를 사용할 수 있었습니다
그 도구는 아주 잘 작동됐습니다
그래서 저희 팀은
알고리즘을 인증하는데
집중하고
의료 체계에 적용할 수
있는 방법을 찾을 수 있었습니다
그것은 큰 도전이었습니다
저희가 다음에 할 일은 뭘까요?
저희는 모델을 훈련시킵니다

Spanish: 
diferentes tipos de clasificación.
Si tenemos nuevas clasificaciones
o clasificaciones diferentes
nos ayuda a hacer eso.
Finalmente, lo que creo
que es realmente importante
es que eso permitió que el equipo
reinvirtiera los esfuerzos
así que el obstáculo ya no estaba
en el aprendizaje automático
o en el entrenamiento.
Eso ha sido difícil de hacer 
y, si se mira lo que hicimos,
aplicamos técnicas muy directas
de aprendizaje automático.
La poción mágica era en realidad
encontrar el problema,
obtener los datos llegar
a un acuerdo sobre qué había en la imagen
y luego pudimos usar este paquete,
estas herramientas
que nos permitieron entrenar los modelos
que en realidad lo hicieron muy, muy bien.
Y eso también, entonces,
permite a nuestro equipo
centrarse en validar el algoritmo
y averiguar formas de implementarlo
en los sistemas de salud
que ya de por sí mismo es un gran desafío.
¿Qué es lo siguiente para nosotros?
Entrenamos un modelo, funciona muy bien.

Japanese: 
あらゆる異なる実験や
異なるラベル付けを行うことができました
新しいラベル付けや
異なるラベル付けなどに役立ちました
最後にとても大事だと思うことは
TensorFlowで私達のチームが
努力に再投資することができたことです
致命的な欠陥はもう
機械学習やトレーニングにはないのです
それはいつも実行に困難なことですが
私達がしたことは
実に 複雑ではない
機械学習の技術の適用でした
成果への重要点は何だったかというと
正しい問題を見つけ
データを取得し
画像にあるものについて
同意を得たこと
そしてこのパッケージと
モデル学習にツールを使えたこと
実際とても素晴らしい力を発揮しました
またそれで
アルゴリズムの検証にチームが集中でき
それ自体が大変な挑戦だった
ヘルスシステムへ展開する方法がわかりました
では次の課題は何でしょう

Portuguese: 
Agora precisamos validá-lo clinicamente.
Temos trabalhado 
com dois hospitais na Índia,
Aravind e Sankara,
e eles estão, no momento, executando
testes clínicos sobre o algoritmo.
Na verdade, Aravind já terminou, 
e chegaram, essencialmente,
aos mesmos resultados que nós...
um pouco melhores...
do que a média dos oftalmologistas de lá.
E então o que estamos fazendo
é trabalhar com uma empresa
parceira da Alphabet, Verily,
focada em ciências da vida
e um fabricante de hardware
chamado Nikon.
Você pode já ter ouvido falar
dessa pequena empresa.
Mas a ideia é que agora que 
o algoritmo está funcionando bem,
o gargalo se tornou o hardware,
porque precisamos de uma câmera
especializada para tirar essas fotos.
Então estamos trabalhando
com fabricantes de hardware
para descobrir formas
de distribuir hardware leve
que seja fácil de usar, etc.
Voltando um passo atrás,
uma das razões principais

Indonesian: 
Itu bekerja dengan sangat baik.
Sekarang kami perlu sungguh
memvalidasinya secara klinis.
Kami telah bekerja bersama
dua rumah sakit di India, Aravind
dan Sankara, dan mereka
menjalankan percobaan klinis
dari algoritma yang kami bicarakan.
Sebenarnya, Aravind
sudah usai, dan
mereka temukan hasil
yang intinya sama--
bahwa kami sedikit
lebih baik dari rata-rata
oftalmolog mereka di sana.
Dan karena itu kami bekerja
dengan anggota dari Alphabet,
Verily, perusahaan dengan fokus pada
ilmu pengetahuan kehidupan,
dan pembuat perangkat keras
bernama Nikon.
Kalian mungkin belum tahu
tentang perusahaan kecil itu.
Tapi idenya sekarang
agar algoritma itu
bekerja cukup baik,
hambatannya adalah
perangkat keras, karena
butuh kamera khusus
untuk mengambil gambar ini.
Jadi kami bekerja dengan
produsen perangkat keras ini
pada dasarnya untuk mengetahui
cara menyebarkan perangkat yang ringan,
yang mudah digunakan,
dan sebagainya.
Sedikit ke belakang,
salah satu alasan utama

Chinese: 
它非常有效。
现在我们要做的是进行临床验证。
我们跟印度的Aravind和Sankara医院进行合作，
他们正在进行临床实验。
实际上，Aravind医院已经完成了实验，
他们得出的结论和我们基本一致，
我们的算法比那里的
眼科医生的平均水平
要略胜一筹。
目前我们跟Alphabet的一家子公司，
即Verily公司合作，
是一家研究生命科学的公司，
还有硬件制造商尼康。
小公司，你们可能没听过。
目前的情况是，
算法非常好，但硬件成为了瓶颈，
因为我们需要特制相机
来拍摄照片。
因此我们与硬件制造商合作，
想办法制造轻便、
便于使用的硬件设备。
回到刚刚说过的内容，
我之所以进入医疗领域，

English: 
It works really well.
Now we need to actually
clinically validate it.
We've been working with two
hospitals in India, Aravind
and Sankara, and they're
running clinical trials
of the algorithm as we speak.
Actually, Aravind's
finished, and they
have found essentially
the same results--
that we were slightly
better than the average
of their ophthalmologists there.
And so what we're doing is
working with a fellow Alphabet
company, Verily, that's a
life science-focused company,
and a hardware
maker called Nikon.
You may not have heard
of that little company.
But the idea is now
that the algorithm
works pretty well,
the bottleneck becomes
the hardware, because we
need a specialized camera
to take these pictures.
So we're working with the
hardware manufacturers
to essentially figure out ways
to deploy lightweight hardware
that's easy to use, et cetera.
Taking a step back,
one of the main reasons

Korean: 
그것은 아주 잘 작동합니다
이제 그것을 의학적으로
입증할 일이 남아있습니다
저희는 인도 아라빈드와 산카라의
병원 두 곳과 공동 연구하고 있습니다
이들 병원에서 알고리즘의 임상실험을
진행 중입니다
사실, 아라빈드의 임상실험은
완료됐습니다
그리고 그곳에서
동일한 결과가 나왔습니다
그 병원의 평균적인 안과의사보다
약간 더 나은 결과가 나온 것입니다
그래서 저희는 계열사인 알파벳
생명공학 업체인 베릴리
하드웨어 제작사인 니콘과 협업 중입니다
그 작은 회사는 이름을
모를 수도 있겠습니다
하지만 생각은 이렇습니다
알고리즘은 잘 작동합니다
병목현상은 하드웨어
때문에 일어납니다
왜냐하면 영상 촬영에
특화된 카메라를
사용하기 때문입니다
가볍고 사용하기 쉬운 하드웨어를
장착할 방법을 찾기 위해
업체들과 공동 연구하고 있습니다
전체 맥락에서 살펴보면

Japanese: 
モデルのトレーニングは
とても上手くいっています
実際に臨床で検証する必要があります
インドのAravindとSankaraの
２つの病院と共同し
今アルゴリズムの臨床試験を行っています
Aravindの方は臨床試験が終了し
基本的に同じ結果を得ています
現地の眼科医の平均よりも
若干良いというものです
私達が行っているのは
企業ロゴが同じくアルファベットの
ライフサイエンス企業Verilyと
ハードウェアメーカー
Nikonとの共同です
小企業名は耳慣れないかもしれませんが
基本概念としては
今アルゴリズムはよく機能しますが
画像を撮る専用のカメラが必要なので
ハードウェアが障壁だからです
そこでハードウェア製造企業と共同し
使いやすく軽量などの特長を持つ
ハードウェアを展開する方法を探っています
一歩戻って医療に私が
のめり込んだ主な理由の１つは

Spanish: 
Ahora tenemos 
que validarlo clínicamente.
Hemos estado trabajando 
con dos hospitales en la India,
Aravind y Sankara, y están
realizando de ensayos clínicos
del algoritmo en este momento.
En realidad, Aravind ya terminó
y obtuvieron los mismos resultados,
que éramos ligeramente mejores
que el promedio de sus oftalmólogos.
Y lo que estamos haciendo es trabajar 
con un socio de Alphabet, Verily,
que es una compañía
centrada en la ciencia de la vida
y un fabricante de hardware llamado Nikon.
Es posible que no haya oído
de esa pequeña compañía.
Pero la idea ahora es que el algoritmo 
funciona bastante bien,
el atasco está en el hardware
porque necesitamos una cámara 
especializada para hacer estas fotos.
Así que estamos trabajando 
con los fabricantes de hardware
para hallar la forma de implementar
un hardware ligero,
que sea fácil de usar, etcétera.
Volviendo atrás,
una de las principales razones

Japanese: 
医学博士だったからで
科学に飛躍をもたらして
身近にするのがとても嬉しかったのです
医学博士で研修のとき
自分の心の一部で
問題解決は不可能だから
これはできないと思ったことがありましたが
TensorFlowと
取り組んできたすべての仕事で
実際 実行可能なのです
アルゴリズムを
トレーニングするのも可能で
それにより人々が一番必要なときに
医師がケアを提供できるのです
[2017年 TensorFlow開発者会議]

English: 
I got into medicine
was I was an MD-PhD,
and so I really was very excited
about bringing breakthrough
science from bench to bedside.
And there's a part of you,
when you go through training,
and you're a PhD, and
you're like, this is never
going to happen,
because it's just not
possible to solve
these problems.
And with TensorFlow and all
the work that's been done here,
it's actually
possible to do that.
It's possible to
train algorithms
that really can help
physicians deliver care
where people need it most.
[APPLAUSE]
[MUSIC PLAYING]

Spanish: 
por las que entré en medicina
fue que tenía un doctorado en medicina.
Y realmente estaba muy entusiasmada
acerca de traer ciencia avanzada
del laboratorio al paciente.
Hay una parte de ti,
durante tu fase de formación
y tienes un doctorado 
y piensas que nunca va a pasar
porque no es posible 
resolver estos problemas.
Y con TensorFlow y todo
el trabajo que se ha hecho aquí
en realidad es posible hacerlo.
Es posible entrenar algoritmos
que realmente puedan ayudar
a los médicos a prestar atención
donde la gente más lo necesita.

Portuguese: 
que eu entrei na medicina
foi que eu era uma MD-PhD,
e por isso eu estava muito emplogada
em trazer ciência avançada
do laboratório para o paciente.
E tem uma parte de você,
quando passa pelo treinamento,
e é um PhD e pensa
"isso nunca vai acontecer",
porque não é possível 
solucionar esses problemas.
E com o TensorFlow
e todo o trabalho feito aqui,
é, de fato, possível fazer isso.
É possível treinar algoritmos
que possam realmente ajudar médicos
a prover cuidados em lugares
onde as pessoas mais precisam.

Indonesian: 
saya masuk ke ranah kedokteran
yaitu karena saya bergelar MD-PhD,
dan karena itu saya sangat
bersemangat membawa terobosan
ilmu pengetahuan dari
penelitian menjadi penerapan.
Ada bagian dari kalian,
ketika melalui pelatihan
dan kalian adalah PhD,
dan merasa ini takkan
pernah terjadi, karena tidaklah
mungkin untuk memecahkan masalah ini.
Dengan TensorFlow dan
semua yang telah dikerjakan,
sesungguhnya itu mungkin.
Itu mungkin untuk
melatih algoritma
yang dapat membantu dokter
memberikan perawatan
di bagian yang paling dibutuhkan.

Korean: 
제가 의학계에 발을 딛은 큰 이유는
MD-PhD였기 때문이었습니다
반복되는 연구를 통해 과학의 약진을
성취하는 일에 많은 흥분을 느꼈습니다
여러분이 훈련 과정을 거칠 때
그리고 PhD인 여러분이
이건 해결할 수 없는 문제이기 때문에
절대 있을 수 없는 일이라고
생각할 수 있습니다
그리고 텐서플로로 그런
문제를 해결할 수 있는 것입니다
실제로 해낼 수 있습니다
훈련된 알고리즘은
의사들이 사람들에게 가장 필요로 하는 치료를
제공할 수 있도록 도울 것입니다
[박수]
[음악 재생]

Chinese: 
是因为我是医学博士，
对于能将突破性的科学成果
应用于临床我感到非常兴奋。
我们有时候会想，当我们在学习时，
在获得博士学位时，
我们会觉得这些问题
根本无法解决。
而有了TensorFlow
以及所有付出的努力，
这一切都成为了可能。
我们可以训练算法，
真正帮助医生
为需要的人提供帮助。
[音乐]
