
English: 
Dear Fellow Scholars, this is Two Minute Papers
with Károly Zsolnai-Fehér.
Have you heard of the Ken Burns effect?
If you have been watching this channel, you
have probably seen examples where a still
image is shown, and a zooming and panning
effect is added to it.
It looks something like this.
Familiar, right?
The fact that there is some motion is indeed
pleasing for the eye, but something is missing.
Since we are doing this with 2D images, all
the depth information is lost, so we are missing
out on the motion parallax effect that we
would see in real life when moving around
a camera.
So, this is only 2D.
Can this be done in 3D?
Well, to find out, have a look at this.
Wow, I love it.
Much better, right?
Well, if we would try to perform something
like this without this paper, we’ll be met
with bad news.

Spanish: 
Estimados colegas académicos, esto es Two Minute Papers con Károly Zsolnai-Fehér.
¿Han oído del efecto Ken Burns?
Si has estado viendo este canal, probablemente has visto ejemplos en donde
una imagen estática es mostrada y un efecto de acercamiento (zooming) y paneo (panning) es añadido
Se ve algo como esto
¿parece familiar, cierto?
El hecho de que se percibe cierto movimiento resulta ciertamente placentero a la vista, pero aun falta algo
Dado que estamos haciendo esto con imágenes en 2D, se pierde toda la información de profundidad, por lo que nos estamos perdiendo
el efecto de paralaje (parallax) que veríamos en la vida real al mover
la cámara alrededor.
Entonces resumidamente, esto es solo 2D.
¿Puede ser esto llevado a cabo en 3D?
Bien, para saberlo, mira esto.
Wow, me encanta.
Mucho mejor, ¿verdad?
Bien, si intentáramos hacer algo así sin esta publicación, nos encontraríamos
con malas noticias.

English: 
And that bad news is that we have to buy an
RGBD camera.
This kind of camera endows the 2D image with
depth information, which is specialized hardware
that is likely not available in our phones
as of the making of this video.
Now, since depth estimation from these simple,
monocular 2D images without depth data is
a research field of its own, the first step
sounds simple enough: take one of those neural
networks then, ask it to try to guess the
depth of each pixel.
Does this work?
Well, let’s have a look!
As we move our imaginary camera around, uh-oh.
This is not looking good.
Do you see what the problems are here?
Problem number one is the presence geometric
distortions, you see it if you look here.
Problem number two is referred to as semantic
distortion in the paper, or in other words,

Spanish: 
Y por malas noticias es que tendríamos que comprar una cámara RGBD
Este tipo de cámara dota a la imagen 2D con información de profundidad, la cual usa un hardware especializado
que probablemente no encontraremos en nuestros teléfonos celulares al momento de realizar este video.
Ahora, dado que la estimación de profundidad de estas simples imágenes monoculares sin información de profundidad es
un campo de investigación en si mismo, el primer paso suena suficientemente simple: tomar una de aquellas redes
neuronales y luego, pedirle que intente estimar la profundidad de cada pixel.
¿Funcionará?
Bien, vamos a ver!
Mientras movemos nuestra cámara imaginaria alrededor, uh-oh.
Esto no se ve bien.
¿Ves que problema tenemos aquí?
Problema numero uno es la presencia de distorsiones geométricas, como puedes ver aquí.
Problema numero dos es la distorsión semántica como es referenciada en el articulo o en otras palabras,

Spanish: 
tenemos información faltante.
No solo eso, pero la mano de este pequeño pobre humano es también...ouch.
Vamos a dar un vistazo otra cosa
Si comenzamos acercándonos en las imágenes, que es el sello distintivo en el efecto Ken Burns,
se vuelve aun peor.
Nos encontramos con artefactos.
Entonces ¿como esta nueva publicación aborda estos problemas?
Después de crear el primer, mapa de profundidad en bruto, un paso adicional es realizado para aliviar
el problema de la distorsión semántica y luego, esta información de profundidad es escalada para asegurarse
de que tenemos suficientes detalles finos para realizar el efecto Ken Burns en 3D
¡Hagámoslo!
Lamentablemente, aun estamos lejos de terminar.
Anteriormente, partes ocluidas del fondo repentinamente se volvían invisibles y no tenemos información
respecto a ellas.
Entonces, ¿Cómo podemos abordar eso?
Recuerdas el retoque de imágenes 'InPainting'?

English: 
we now have missing data.
Not only that, but this poor tiny human’s
hand is also…ouch.
Let’s look at something else instead.
If we start zooming in into images, which
is a hallmark of the Ken Burns effect, it
gets even worse.
Artifacts.
So how does this new paper address these issues?
After creating the first, coarse depth map,
an additional step is taken to alleviate the
semantic distortion issue, and then, this
depth information is upsampled to make sure
that we have enough fine details to perform
the 3D Ken Burns effect.
Let’s do that!
Unfortunately, we are still nowhere near done
yet.
Previously occluded parts of the background
suddenly become visible, and, we have no information
about those.
So, how can we address that?
Do you remember image inpainting?

English: 
I hope so, but if not, no matter, I’ll quickly
explain what it is.
Both learning-based, and traditional handcrafted
algorithms exist to try to fill in this missing
information in images with sensible data by
looking at its surroundings.
This is also not as trivial as it might seem
first, for instance, just filling in sensible
data is not enough, because this time around,
we are synthesizing videos, it has to be temporally
coherent, which means that there mustn’t
be too much of a change from one frame to
another, or else we’ll get a flickering
effect.
As a result, we finally have these results
that are not only absolutely beautiful, but
the user study in the paper shows that they
stack up against handcrafted results made
by real artists.
How cool is that!
It also opens up really cool workflows that
would normally be very difficult, if not impossible
to perform.
For instance, here you see that we can freeze
this lightning bolt in time, zoom around and

Spanish: 
Espero que si, pero si no, no importa, rápidamente explicare que es.
Tanto algoritmos basados en aprendizaje como algoritmos tradicionales existen para intentar rellenar
esta información faltante en imágenes con información adecuada al utilizar información a su alrededor.
Además, esto no es tan trivial como pudiera parecer inicialmente, por ejemplo, no es suficiente solo rellenar información
debido a que ahora estamos sintetizando videos, por lo que debemos tiene que ser temporalmente
coherente, lo que significa que no debe existir demasiado cambio de un cuadro a
otro u obtendremos un efecto de parpadeo.
Consecuentemente tenemos estos resultados, que no solo son absolutamente hermosos pero
ademas, según el estudio con usuarios, son comparables con los resultados obtenidos por artistas reales
¡Qué genial!, ¿no?
Ademas, también abre flujos de trabajo que normalmente son muy difíciles, si no imposibles
de llevar a cabo
Por ejemplo, aquí puedes ver que podemos congelar este relámpago en el tiempo, acercarnos, movernos

English: 
marvel at the entire landscape.
Love it.
Of course, limitations still apply.
If we have really thin objects, such as this
flagpole, it might be missing entirely from
the depth map, or there are also cases where
the image inpainter cannot fill in useful
information.
I cannot wait to see how this work evolves
a couple papers down the line.
One more interesting tidbit.
If you have a look at the paper, make sure
to open it in Adobe Reader you will likely
be very surprised to see that many of these
things that you think are still images…are
actually animations.
Papers are not only getting more mind-blowing
by the day, but also more informative, and
beautiful as well.
What a time to be alive!
This video has been supported by you on Patreon.
If you wish to support the series and also
pick up cool perks in return, like early access

Spanish: 
y maravillarnos con el paisaje completo.
Me encanta.
Por supuesto, aun aplican algunas limitaciones.
Objetos muy delgados como este asta de bandera pueden perderse completamente
en el mapa de profundidad o existen casos donde el el restaurador (InPainter) de imagen no puede rellenar
información.
No puedo esperar a ver como este trabajo evoluciona algunas publicaciones mas adelante.
Otro pormenor interesante.
Si le das una mirada a esta publicación, asegúrate de abrirla con Adobe Reader, probablemente
te sorprenderás al ver que muchas de estas imágenes que podrás pensar que son estáticas...son
en realidad animaciones.
Las publicaciones no solo se están volviendo mas alucinantes cada día, sino que ademas mas informativas y
hermosas también.
¡Qué momento para estar vivo!
Este video ha sido apoyado por ti en Patreon.
Si deseas apoyar la serie ademas de obtener geniales beneficios. como acceso temprano

English: 
to these episodes, or getting your name immortalized
in the video description, make sure to visit
us through Patreon.com/TwoMinutePapers.
Thanks for watching and for your generous
support, and I'll see you next time!

Spanish: 
a estos episodios o obtener tu nombre inmortalizado en la descripción del video, asegúrate de visitarnos
en 
Patreon.com/TwoMinutePapers.
Gracias por vernos y por tu generoso apoyo y nos vemos la próxima vez.
