
English: 
Dear Fellow Scholars, this is Two Minute Papers
with Károly Zsolnai-Fehér.
Not so long ago, Google DeepMind introduced
a novel learning algorithm that was able to
reach superhuman levels in playing many Atari
games.
It was a spectacular milestone in AI research.
Interestingly, while these learning algorithms
are being improved at a staggering pace, there
is a parallel subfield where researchers endeavor
to break these learning systems by slightly
changing the information they are presented
with.
Fraudulent tampering with images or video
feeds, if you will.
Imagine a system that is designed to identify
what is seen in an image.
In an earlier episode, we discussed an adversarial
algorithm, where in an amusing example, they
added a tiny bit of barely perceptible noise
to this image, to make the deep neural network
misidentify a bus for an ostrich.
Machine learning researchers like to call
these evil forged images adversarial samples.

Italian: 
Cari Amici Studiosi, benvenuti a
Pubblicazioni in Due Minuti con Károly Zsolnai-Fehér.
Non molto tempo fa, Google DeepMind ha introdotto un nuovo algoritmo di apprendimento che riusciva a
raggiungere livelli sovrumani nel giocare molti giochi Atari.
E' stata una pietra miliare spettacolare nella ricerca su IA.
Curiosamente, mentre gli algoritmi di apprendimento vengono migliorati con un ritmo impressionante
c'è un sotto campo parallelo nel quale i ricercatori  si sforzano di rompere questi sistemi di apprendimento
modificando leggermente le informazioni che vengono presentate loro.
Manomissione fraudolenta con immissione di immagini o video, se preferisci.
Immagina un sistema pensato per riconoscere cosa si vede in un'immagine.
In un episodio precedente, abbiamo discusso un algoritmo avversario nel quale in un esempio divertente
aggiungevano un pochino di rumore a mala pena percettibile ad un' immagine per far scambiare alla rete
neurale un autobus con un'ostrica.
I ricercatori di apprendimento automatico chiamano queste immagini malvagie "campioni avversari".

English: 
And now, this time around, OpenAI published
a super fun piece of work to fool these game
learning algorithms by changing some of their
input visual information.
As you will see in a moment, it is so effective
that by only using a tiny bit of information,
it can turn a powerful learning algorithm
into a blabbering idiot.
The first method adds a tiny bit of noise
to a large portion of the video input, where
the difference is barely perceptible, but
it forces the learning algorithm to choose
a different action that it would have chosen
otherwise.
In the other one, a different modification
was used, that has a smaller footprint, but
is more visible.
For instance, in pong, adding a tiny fake
ball to the game to coerce the learner into
going down when it was originally planning
to go up.
The algorithm is able to learn game-specific
knowledge for almost any other game to fool
the player.
Despite the huge difference in the results,
I loved the elegant mathematical formulation

Italian: 
E ora, stavolta, OpenAI ha pubblicato un divertentissimo articolo per ingannare queste tecniche
di apprendimento di giochi cambiando alcuni delle loro informazioni visive in input.
Come vedrai tra un secondo, è così efficace che usando solo un pochino di informazione
può rendere un potente algoritmo di apprendimento, un completo incompetente.
Il primo metodo aggiunge un po' di rumore ad una vasta porzione del video in input, dove
la differenza è a malapena percettibile, ma forza l'algoritmo di apprendimento a scegliere
un'azione diversa da quella che avrebbe scelto altrimenti.
In un'altro, viene effettuata una modifica differente, che ha un' area minore, ma è più visibile.
In un'altro, viene effettuata una modifica differente, che ha un' area minore, ma è più visibile.
Ad esempio, in "pong", aggiunge una piccola pallina fasulla al gioco, per costringere l'apprendista a
scendere giù, quando inizialmente aveva in programma di salire.
L'algoritmo è in grado di apprendere conoscenze specifiche sul gioco per quasi ogni altro gioco
per ingannare il giocatore.
Nonostante l'enorme differenza dei risultati, apprezzo l'elegante formulazione matematica

Italian: 
dei due tipi di rumore, perchè nonostante il fatto che fanno cose radicalmente diverse,
la loro formulazione matematica è abbastanza simile.
I matematici dicono che stanno risolvendo
lo stesso problema, ottimizzando per un diverso obiettivo.
Oltre all' apprendimento approfondito Q-Learning di DeepMind altri due algoritmi di alta qualità vengono
utilizzati per ingannare questa tecnica.
Nella formulazione a scatola aperta, abbiamo accesso ai funzionamenti interni dell'algoritmo.
Ma, curiosamente, è proposta una formulazione a scatola chiusa, nella quale sappiamo molto meno
riguardo al sistema bersaglio, ma conosciamo il gioco, addestriamo il nostro stesso sistema e cerchiamo lì
le sue debolezze.
Quando abbiamo trovato questi punti deboli, usiamo questa conoscenza per rompere altri sistemi.
Riesco solo ad immaginare quanto devono essersi divertiti gli autori mentre sviluppavano
queste tecniche.
Sono curiosissimo ci sapere come finirà questo braccio di ferro tra il creare potenti algoritmi di apprendimento
e, in risposta, ancora più potenti tecniche avversarie per spezzare il loro sviluppo.
In futuro, sento che la robustezza di un algoritmo di apprendimento, o in altre parole,

English: 
of the two noise types, because despite the
fact that they do something radically different,
their mathematical formulation is quite similar,
mathematicians like to say that we're solving
the same problem, while optimizing for different
target norms.
Beyond DeepMind's Deep Q-Learning, two other
high-quality learning algorithms are also
fooled by this technique.
In the white box formulation, we have access
to the inner workings of the algorithm.
But interestingly, a black box formulation
is also proposed, where we know much less
about the target system, but we know the game
itself, and we train our own system and look
for weaknesses in that.
When we've found these weak points, we use
this knowledge to break other systems.
I can only imagine how much fun there was
to be had for the authors when they were developing
these techniques.
Super excited to see how this arms race of
creating more powerful learning algorithms,
and in response, more powerful adversarial
techniques to break them develops.
In the future, I feel that the robustness
of a learning algorithm, or in other words,

English: 
its resilience against adversarial attacks
will be just as important of a design factor
as how powerful it is.
There are a ton of videos published on the
authors' website, make sure to have a look!
And also, if you wish to support the series,
make sure to have a look at our Patreon page.
We kindly thank you for your contribution,
it definitely helps keeping the series running.
Thanks for watching and for your generous
support, and I'll see you next time!

Italian: 
la sua resistenza contro attacchi avversari, sarà tanto importante come caratteristica di sviluppo
quanto la sua efficacia.
Ci sono una marea di video pubblicati sul sito degli autori, assicurati di dar loro uno sguardo.
Inoltre, se desideri supportare la serie, assicurati di passare per la nostra pagina Patreon.
Vi ringraziamo di cuore per il vostro contributo, aiuta decisamente nel portare avanti la serie.
Grazie per la visione e per il generoso supporto, ci vediamo al prossimo video!
