
Czech: 
V roce 2011 byl zveřejněn věděcký článek v seriózním periodiku: "Časopis Osobnosti a
sociální psychologie". Měl název: "Cítím budoucnost: Experimentální důkazy pro
anomální zpětné ovlivnění rozpoznávání a pod vlivem emocí" jinými slovy,
Důkaz, že lidé dokáží vidět do budoucnosti, dokládala práce na devíti
pokusech. V jednom z nich autoři účastníkům ukázáli dva závěsy na obrazovce počítače
a požádali je, aby předpověděli, za kterým závěsem se ukrývá obrázek. Za druhým závěsem
nebylo nic. Když si účastníci vybrali závěs s obrázkem, počítač náhodně
vložil obrázek za jeden ze závěsů a vybraný závěs
odkryl a ukázal, co je za ním.
Obrázky byly náhodně vybírány ze tří kategorií: neutrální, negativní
nebo erotické. Jestliže účastník vybral závěs, který zakrýval obrázek, bylo to
považováno za zásah. Se dvěma závěsy a umisťováním obrázků
náhodně za jeden z nich, očekávali byste úspěšnost zhruba 50 %.
A to přesně vědci zjistili, tedy alespoň pro negativní

Korean: 
2011년, 평판 높은 "성격과 사회 심리학
논문"이라는 곳에 논문 하나가 출간되었어요.
그 논문은,
"미래를 느끼다 : 인지 능력에 대한
소급 변칙적 영향에 대한 실험적 증거"라는
제목으로 출간되었어요. 달리 말해,
인간이 앞날을 읽을 수 있다는 증거였죠.
이 논문에는 아홉가지의 실험이 있었는데,
그 중 하나로, 참가자들에게 컴퓨터
스크린에 두개의 커튼을 보여주었어요.
그리고 어느 쪽 커튼 뒤에 이미지가 있을지를
맞춰보라고 했어요. 다른 하나는 그냥 빈 공간이고요.
참가자들이 선택을 하게 되면,
컴퓨터가 커튼 뒤쪽으로 임의적으로
이미지를 위치하게 프로그래밍했어요.
그 다음 선택된 커튼이 치워지고
이미지인지 빈 공간인지를
보여주는 방식이었죠.
이미지는 세가지의 카테고리에서 임의적으로
선택되었는데, 중립적이거나, 부정적이거나,
야한 이미지 중의 하나였어요.
참가자가 선택한 커튼 쪽에 이미지가 있었을
때를 맞춘걸로 카운트했어요.
두개의 커튼이 있고, 이미지가
임의적으로 그 뒤쪽에 위치되니까,
맞출 확률이 50% 정도 될거라고
예상하실거에요.
물론 연구자들도 그런 결과를 얻었죠.
적어도... 부정적이거나

Italian: 
Nel 2011 è stato pubblicato un articolo sul "Giornale della Personalità e
della Psicologia Sociale". 
Era intitolato "Percepire il futuro: 
Evidenza Sperimentale di
Influenza Anomale Retroattive sulla Cognizione e l'Emozione" oppure, in altre parole,
dimostrazione che le persone possono vedere nel futuro. L'articolo riferiva i risultati di nove
esperimenti. In uno di essi, ai partecipanti venivano mostrati due sipari sullo schermo di un computer
e veniva loro chiesto di predire dietro quale di essi ci fosse un'immagine, mentre dietro l'altro si trovava solo
una schermata bianca. 
Dopo che il partecipante aveva scelto, il computer
posizionava  un'immagine a caso dietro a uno dei due sipari, quindi il sipario selezionato veniva
alzato e veniva mostrata o l'immagine o la schermata bianca
le immagini erano selezionate casualmente fra tre categorie: neutrali, negative
o erotiche. Se i partecipanti selezionavano il sipario che copriva l'immagine,
l'esito dell'evento era registrato come un esito positivo. Ora, poiché c'erano due sipari e la posizione delle immagini
dietro di essi era casuale, ci si aspetterebbe che il tasso di esiti positivi sia circa il 50%.
E questo è esattamente ciò che i ricercatori hanno scoperto, almeno per le immagini negative

Portuguese: 
Em 2011, um artigo foi publicado na respeitada revista de personalidade e psicologia social
chamado: "Sentindo o Futuro: Evidencias Experimentais para Influência Retroativa Anômala na Cognição  e Emoção.
Ou em outras palavras, "Prova que as pessoas conseguem prever o futuro".
O artigo reportou 9 experimentos. Em um,  duas cortinas eram mostradas aos participantes em uma tela
e solicitados para prever qual delas havia uma imagem atrás. A outra cortina cobria uma tela em branco.
Depois de os participantes escolherem, o computador posicionava uma imagem aleatoriamente atrás de uma das cortinas,
então a cortina selecionada era revelada para mostrar a imagem ou a tela em branco.
As imagens eram selecionadas aleatoriamente dentro de três categorias:
neutras, negativas ou eróticas
Se os participantes selecionassem a cortina que cobria a imagem,
era considero um  acerto.
Então, havendo duas cortinas e a imagem sendo posicionada aleatoriamente atrás de uma delas,
seria esperado que a taxa de acerto seria mais ou menos 50%,
o que foi exatamente o que os pesquisadores descobriram.

Portuguese: 
Em 2011 um artigo foi publicado no resputável "Journal of Personality e
Psicologia Social". O artigo foi chamado de "Pressentindo o futuro: Evidência Experimental para
Influência Retroativa Anômala na Cognição e no Afeto" ou, em outras palavras,
prova de que as pessoas podem prever o futuro. O artigo relatou nove
experimentos. Em um deles, duas cortinas em uma tela de computador eram mostradas aos participantes
que deviam prever qual tinha uma imagem atrás de si, a outra apenas cobria uma
parede vazia. Uma vez que o participante fizesse sua seleção o computador aleatoriamente
posicionava uma imagem atrás de uma das cortinas, então a cortina selecionada era
aberta para mostrar a imagem ou a parede vazia
as imagens eram selecionadas aleatoriamente dentre três categorias: neutras, negativas
ou eróticas. Se os participantes selecionassem a cortina cobrindo a imagem isso era
considerado um acerto. Agora havendo duas cortinas e as imagens sendo posicionadas
aleatoriamente atrás de uma delas, você esperaria uma taxa de acerto que seja por volta de 50%.
E isso é exatamente o que os pesquisadores encontraram, pelo menos para as imagens

Spanish: 
En 2011, un artículo fue publicado en el 
respetable "Journal de Personalidad y
Psicología Social", se denominó "Sintiendo el Futuro: Evidencia Experimental de
Influencias Anómalas Retroactivas en la Cognición y el Afecto" o, en otras palabras,
prueba de que la gente puede ver el futuro. 
El artículo reportó nueve
experimentos. En uno, se mostró a los participantes dos cortinas en una pantalla de ordenador
y se les pidió que predigan cuál tenía
una imagen detrás, la otra solamente cubría
una pared blanca. Una vez que el participante realizaba su elección, la computadora aleatoriamente
colocaba una imagen detrás de unas de las cortinas, entonces la cortina seleccionada era
abierta para mostrar la imagen o la pared en blanco
las imágenes eran seleccionadas aleatoriamente de entre tres cateogrías: neutral, negativa
o erótica. Si los participantes seleccionaban la cortina que cubría la imagen, esto se
consideraba un acierto. Ahora, con dos cortinas y las imágenes ubicadas
aleatoriamente detrás de una de ellas, esperarías una tasa de aciertos cercana al cincuenta
por ciento. Y eso es exactamente lo que los investigadores hallaron, al menos para las imágenes

German: 
Im Jahr 2011 wurde ein Artikel im angesehenen "Journal für Persönlichkeit und Sozialpsychologie" veröffentlicht.
Es trug den Titel "Die Zukunft fühlen: Experimentelle Beweise für ungewöhnliche, retroaktive Einflüsse
auf Wahrnehmung und Affekt" oder, in anderen Worten, Beweise, dass Menschen die Zukunft sehen können.
Der Artikel berichtet über neun Experimente. In einem zeigte man den Probanden zwei Vorhänge auf einem
Computerbildschirm und dann sollten sie vorhersagen, hinter welchem ein Bild zu finden sei,
wobei der andere lediglich eine leere Wand bedeckt. Nachdem der Teilnehmer seine Wahl getroffen hatte,
positionierte der Computer ein Bild zufällig hinter einem der beiden Vorhänge.
Dann wurde der gewählte Vorhang  entfernt, um entweder ein Bild oder eine leere Wand anzuzeigen.
Die Bilder wurden zufällig aus einer von drei Kategorien gewählt: neutral, negativ oder erotisch.
Wählten Teilnehmer den Vorhang der das Bild bedeckt, wurde das als Treffer gezählt.
Weil es ja zwei Vorhänge gibt, und die Bilder zufällig hinter einem der beiden platziert werden,
würde man eine Trefferquote von etwa 50% erwarten.

iw: 
ב-2011 התפרסם מאמר ב"ירחון לאישיות
פסיכולוגיה חברתית"
בעל המוניטין.
הוא נקרא "להרגיש את העתיד: עדות ניסויית
להשפעות אנומליות בדיעבד על קוגניציה והשפעה רגשית", 
או במילים אחרות
הוכחה שאנשים יכולים לראות אל העתיד. 
המאמר דווח על תשעה
ניסויים. 
באחד, הוצגו בפני המשתתפים שני וילונות על מסך המחשב
והם התבקשו לנבא באיזה מהם יש תמונה מאחור, 
כאשר מאחורי השני נמצא
קיר ריק. 
ברגע שהמשתתף עשה את בחירתו המחשב באופן אקראי
הציב תמונה מאחורי אחד הוילונות, 
לאחר מכן הוילון הנבחר
הוסט על מנת להראות את התמונה או קיר ריק.
התמונות נבחרו באופן אקראי מבין אחת משלוש קטגוריות: 
נייטרלי, שלילי,
או ארוטי. 
אם משתתפים בחרו את הוילון המכסה את התמונה הדבר
נחשב לפגיעה. 
עכשיו לאור העובדה שיש שני וילונות והתמונות מוקמו
אקראית מאחורי אחד מהם, 
הייתם מצפים שיחס הפגיעה יהיה כ-50%.
וזה בדיוק מה שהחוקרים מצאו, לפחות לגבי

Chinese: 
2011年, 很有声誉的期刊>发表了一篇文章
“感知未来：对过去的认知和情感造成异常影响的实验证据”
换句话说
人们可以看到未来的证据。这篇论文报告了九个实验
其中一个是给志愿者展示电脑屏幕上的两个窗帘
并要求志愿者预测哪一个窗帘的后面有图片，
哪一个后面只有空白的墙
当志愿者作出选择后，
电脑会随机将一个图片放到其中一个窗帘后面
然后拉开志愿者选择的窗帘，露出图片或者白墙
图片随机选自三个分类：中性，负面，和色情。
如果志愿者选择了背后有图片的窗帘，那就记为一次命中。
现在场景是两个窗帘，图片随机地藏在其中一个后面，
你会觉得预计命中率约为 50%

English: 
In 2011 an article was published in the
reputable "Journal of Personality and
Social Psychology". It was called "Feeling the
Future: Experimental Evidence for
Anomalous Retroactive Influences on
Cognition and Affect" or, in other words,
proof that people can see into the
future. The paper reported on nine
experiments. In one, participants were
shown two curtains on a computer screen
and asked to predict which one had an
image behind it, the other just covered a
blank wall. Once the participant made
their selection the computer randomly
positioned an image behind one of the
curtains, then the selected curtain was
pulled back to show either the image or
the blank wall
the images were randomly selected from
one of three categories: neutral, negative,
or erotic. If participants selected the
curtain covering the image this was
considered a hit. Now with there being
two curtains and the images positions
randomly behind one of them, you would
expect the hit rate to be about fifty
percent. And that is exactly what the
researchers found, at least for negative

iw: 
תמונות שליליות וניטרליות.
לעומת זאת, לגבי תמונות ארוטיות יחס הפגיעה היה 53%. 
האם זה אומר
שאנחנו יכולים לראות אל העתיד? 
האם הסטייה הקטנה הזו בעלת חשיבות?
ובכן, על מנת לאמוד מובהקות מדענים בדרך כלל פונים לערכי p, הסתברות שאומרת לך
עד כמה סבירה תוצאה, לפחות כזו קיצונית, היא, 
אם השערת האפס (ההשערה השמרנית)
היא נכונה. 
במקרה זה השערת האפס תהיה פשוט שאנשים לא מסוגלים
באמת לראות אל העתיד ושתוצאת ה-53% 
היתה עקב ניחושים ברי מזל.
למחקר זה ערך ה-p היה 0.01 שמשמעותו שהיה רק אחוז אחד
של סיכוי לקבל יחס פגיעה של 53% או יותר
במזל טהור. 
ערכי p של פחות מ-0.05 נחשבים באופן כללי משמעותיים
וראויים לפרסום 
אבל אולי תעדיפו להשתמש ברף גבוה יותר לפני שאתם
מקבלים את זה שבני אדם יכולים באופן מדויק לחזות את העתיד ונניח, להזמין את מחבר המחקר
לתכנית החדשות שלך. 
אבל היי, זו בחירה שלך. אחרי הכל, רף ה-05.
נבחר באופן שרירותי על ידי רונלד פישר בספר שהוא פרסם
ב-1925. אבל זה מעלה את השאלה: 
כמה מספרות המחקר המתפרסמת

Portuguese: 
Ao menos para imagens negativas ou neutras.
No entanto, a taxa de acerto para imagens eróticas foi de 53%.
Isso significa que podemos ver o futuro? Esse desvio sutil é "significante"?
Para aferir "significância", os pesquisadores geralmente utilizam o  "p-valor",
um valor estatístico que diz o quão provável é um resultado, ao menos tão extremo como esse,
se a hipótese nula for verdadeira.
Nesse caso a hipótese nula seria que as pessoas não conseguiam realmente prever o futuro
e o resultado de 53% foi causado por sorte.
Para esse estudo, P era de 0.01,
O que significa que havia uma chance de apenas 1% de obter um resultado de 53% ou maior de acertos por pura sorte
P-valores menores que 0.05 são geralmente considerados significantes
e dignos de publicação.
Mas é melhor considerar usar um padrão mais elevado antes de aceitar que humanos podem prever o futuro
e, digamos, convidar o autor do estudo no seu programa de notícias
Mas a escolha é sua...
afinal de contas, o mínimo de 0.05 foi escolhido arbitrariamente por Ronald Fisher
em um livro que ele publicou em 1925
Mas isso levanta e pergunta:

Italian: 
e per quelle neutrali.
Ma per le immagini erotiche il tasso di positivi era 53%.
Significa che possiamo vedere nel futuro ? 
Questa piccola deviazione è significativa ?
Per valutare la significatività gli scienziati usano i 
p-valori, una statistica che rivela
quale è la probabilità di un dato risultato, assumendo che valga l'ipotesi nulla.
In questo caso l'ipotesi nulla sarebbe che le persone non possono
vedere nel futuro e che il risultato del 53% era dovuto a tentativi fortunati.
Per questo studio il p-valore era 0.01, cioè sussisteva una probabilità di appena l'1%
di ottenere un tasso di successo del 53% o superiore solo grazie a un colpo di fortuna.
In genere si conviene che i p-valori inferiori a 0.05 siano significativi
e meritino di essere pubblicati, 
ma forse sarebbe bene usare una soglia più severa
prima di credere che gli esseri umani possano conoscere il futuro e, ad esempio,
invitare l'autore dello studio al telegiornale; 
bah, in fondo è una scelta personale.
Dopotutto, la soglia dello 0.05 è stata scelta arbitrariamente da Ronald Fisher in un libro che ha pubblicato nel 1925.
Ma questo solleva il problema: 
quanta della ricerca pubblicata è, di fatto, falsa?

Czech: 
a neutrální obrázky.
Avšak pro erotické obrázky, byla úspěšnost trefy 53 %. Znamená to,
že vidíme do budoucnosti? Je tenhle drobný posun významný?
Pro posouzení významnosti, vědci obvykle používají p-hodnotu, statistiku, která vám říká
jak pravděpodobný výsledek je, alespoň tento extrémní, jestliže je nulová hypotéza
pravdivá. V tomto případě, nulová hypotéza by byla jenom, že lidé nemohou
vidět do budoucnosti a 53% výsledek byl díky šťastné náhodě.
Pro tuto studii, byla p-hodnota 0,01, což znamená, že je pouze jednoprocentní
šance získání úspěšnosti 53 % a vyšší díky
pouhé náhodě. P-hodnoty menší než 0,05 se obvykle považují za významné
a stojí za publikování, ale možna byste požadovali vyšší laťku před tím, než
uznáte, že lidé skutečně dokáží předvídat budoucnost a, řekněme, třeba pozvali
autory studie do večerních zpráv. Ale je to vaše volba. Konec konců, hodnota 0,05
jako hranice byla náhodně vybrána Ronaldem Fisherem v knize, kterou publikoval
v roce 1952. Ale to vyvolává otázku, kolik publikovaných vědeckých výzkumů je

German: 
Und das ist genau das, was die Forscher feststellten, zumindest für negative und neutrale Bilder.
Für erotische Bilder war die Trefferquote allerdings 53%.
Bedeutet das, dass wir in die Zukunft sehen können? Ist diese leichte Abweichung signifikant?
Nun, um Signifikanz zu bewerten, verwenden Wissenschaftler üblicherweise p-Werte,
eine Statistik, die bestimmt, wie wahrscheinlich ein entsprechend extremes Ergebnis ist, falls die Null-Hypothese wahr ist.
In diesem Fall wäre die Null-Hypothese, dass Menschen tatsächlich NICHT in die Zukunft sehen können
und dass das 53%-Ergebnis auf Glückstreffer zurückzuführen ist.
In dieser Studie war der p-Wert 0.01, das heisst es bestand nur eine 1% Chance, dass eine Trefferquote von
53% oder mehr durch pures Glück erreicht wurde.
p-Werte unter 0.05 werden allgemein als signifikant und publikationswürdig anerkannt.
Allerdings sollte man einen höheren Grenzwert verwenden, bevor man akzeptiert,
dass Menschen die Zukunft akkurat vorhersagen können und die Autoren der Studie zum Beispiel
in eine TV-Nachrichtensendung einlädt. Aber hey, es ist deine Wahl. Schliesslich wurde der .05 Grenzwert
wilkürlich von Ronald Fisher, in einem von ihm im Jahr 1925 veröffentlichten Buch, gewählt.

Korean: 
중립적인 이미지에서만요.
반면에 야한 이미지에서는 확률이 53%까지
올라갔었어요. 그렇다면 이게
우리가 미래를 볼 수 있다는걸 의미할까요?
이 약간의 차이가 의미있는 것일까요?
중요성을 가늠하기 위해 과학자들은 대개
p-value를 사용해요. 결과가 어떻게
나올지를 알려주는 통계인데,
적어도 이런 양극 형태에서는 사용했던
귀무가설이 옳았는지를 확인할 수 있는거죠.
이 경우에서의 귀무가설은 사람들이
사실상 미래를 볼 수 없을거란
내용이었고, 53%는 단순히 운이
좋아서 맞춘거였던거에요.
이 연구에서의 p-값은 0.01이었어요.
무슨 말이냐면, 단순한 운으로 인해서
53%나 그보다 높게 맞출 확률이
1% 밖에 안된다는 뜻인거죠.
0.05보다 낮은 수치의 p-값을 갖는 경우에,
출판할 정도의 가치를 갖는다고들 해요.
그런데 어쩌면 이 방법 말고
다른 수를 쓰는게 더 좋을 수도 있어요.
사람들이 미래를 정확히 예측할 수 있고,
뭐, 논문 작가를 뉴스 프로그램에
초청하기 전에 말이죠. 그렇지만...
뭐 선택은 당신이 하는거니까요. 어쨌든,
0.05라는 기준치는 사실 Ronald Fisher라는
사람이 1925년 그의 책에서 임의적으로 선택한거였어요.
이로 인해 의문이 생기는데, 출판된 연구
문헌 중 얼마나 많은 것들이 사실상 거짓일까요?

English: 
neutral images
however for erotic images the hit rate
was fifty-three percent. Does that mean
that we can see into the future? Is that
slight deviation significant? Well to
assess significance scientists usually
turn to p-values, a statistic that tells
you how likely a result, at least this
extreme, is if the null hypothesis is
true. In this case the null hypothesis
would just be that people couldn't
actually see into the future and the
53-percent result was due to lucky
guesses. For this study the p-value was .01 meaning there was just a one-percent
chance of getting a hit rate of
fifty-three percent or higher from
simple luck. p-values less than .05 are generally considered significant
and worthy of publication but you might
want to use a higher bar before you
accept that humans can accurately
perceive the future and, say, invite the
study's author on your news program; but
hey, it's your choice. After all, the .05
threshold was arbitrarily selected by
Ronald Fisher in a book he published in
1925. But this raises the question: how much
of the published research literature is

Portuguese: 
negativas e neutras.
No entanto, para imagens eróticas a taxa de acerto foi de 53%. Isso significa
que podemos prever o futuro? Esse pequeno desvio é significativo? Bem, para
determinar significância cientistas costumam voltar-se para o valor-p, uma estatística que diz
quão provável é um resultado pelo menos tão extremo se a hipótese nula for
verdadeira. Nesse caso a hipótese nula seria que as pessoas não podem
realmente prever o futuro e 53% é apenas devido a palpites
sortudos. Para esse estudo o valor-p era 0,01 significando que havia apenas uma probabilidade
de 1% de conseguir um acerto de 53% ou mais por
pura sorte. valores-p de menos que 0,05 são geralmente considerados significativos
e válidos para publicação, mas você pode querer usar um padrão maior antes de
aceitar que humanos podem entender o futuro precisamente e, digamos, convidar o
autor do estudo no seu programa de notícias; mas, ei, a escolha é sua. Afinal de contas, o limite
de 0,05 foi escolhido arbitrariamente por Ronald Fisher em um livro que ele publicou em
1925. Mas isso levanta uma questão: quanto da pesquisa publicada na literatura é

Chinese: 
这正是研究人员发现的，
至少对于负面和中性的图片是这样
然而对于色情图片，命中率却达到了 53%。
这是不是意味着我们可以看到未来？
这么小的偏差有显著性吗？
为了评估显著性，科学家一般使用 p 值，
这个统计值来用来说明的是，至少在多极端情况下，
零假设才会被当做真的。
（零假设的内容一般是希望能证明为错误的假设）
此例中的零假设是：人们并无法看到未来，而 53% 的结果只是归功于幸运的猜测。
对于这项研究，p 值为 0.01 意味着只有百分之一的几率
只通过简单的运气获得 53% 或更高的命中率
p 值小于 0.05 的研究通常被认为是“显著”的
从而值得发表。
但你可能要设置一个更高的阈值才能接受
人类能准确地预测未来这种事情
比如说，邀请这项研究的研究员到你的新闻节目
但是，这其实是你来决定的
归根结底，在 Ronald Fisher 1925 年出版的书中，0.05 也只是个他武断地选定的一个阈值而已

Spanish: 
negativas y neutrales
sin embargo en el caso de las imágenes eróticas, la tasa de aciertos fue de 53 por ciento. ¿Significa eso
que podemos ver en el futuro? ¿Es esa pequeña desviación significativa? Bueno, para
evaluar la significancia los científicos usualmente recurren a los valores-p, una estadística que
te dice que tan probable es un resultado, al menos uno tan extremo como este, si la hipótesis nula es
verdadera. En este caso la hipótesis nula sería que las personas no pueden
realmente ver el futuro y que el resultado de 53 por ciento fue pura suerte
Para este estudio, el valor de p fue .01, lo que significa que sólo había un uno por ciento
de probabilidad de obtener una tasa de aciertos de 53 por ciento o más alta debido
al azar. Usualmente se consider que los valores de p menores a .05 son significativos
y merecen ser publicados pero puede que quieras usar un estándar más alto antes de
aceptar que los humanos pueden percibir acertadamente el futuro y, digamos, invitar al
autor del estudio a tu programa de noticias; pero hey, es tu elección. Después de todo, el
umbral de .05 fue elegido arbitrariamente por Ronald Fisher en un libro que publicó en
1925. Pero esto nos hace preguntarnos ¿cuánto de la literatura científica publicada es

Czech: 
ve skutečnosti špatně? Intuitivní odpověď se zdá být 5 %. Myšleno, pokud
každý používá p-hodnotu menší než 0,05 jako hranici pro statistiku významnosti,
očekávali byste, že 5 z každých 100 prací bude falešně pozitivních.
Ale to, bohužel, hrubě podceňuje tento problém a tady je důvod:
Představte si, že jste výzkumník v oboru, kde je tisíc hypotéz,
které jsou zkoumány.
Předpokládejme, že 10 % z nich odráží skutečné vztahy a zbytek
jsou chybné. Ale nikdo pochopitelně neví, která je která, v tom je podstata
výzkumu. Předpokládejme, že pokusy jsou perfektně navrženy,
měly by tedy správně identifikovat přibližně 80 ze 100 skutečných vztahů.
To je známo jako 80% síla testu, takže 20 výsledků je falešně
negativních, možná počet vzorků byl příliš malý, nebo měření nebyla
dostatečně citlivá. Teď uvažme těch 900 chybných hypotéz. Za použítí
p-hodnoty 0,05, bude 45 chybných hypotéz nesprávně
považováno za pravdivé. Zbytek bude správně rozpoznán jako chybný.

iw: 
למעשה שגויה? התשובה האינטואיטיבית נראית 5%. 
אני מתכוון שאם
כולם משתמשים ב-p קטן מ-05. כנקודת חיתוך למובהקות
סטטיסטית, היית מצפה ש-5 מתוך 100 תוצאות 
תהיינה חיוביות-שגויות
אבל זה לרוע המזל ממעיט בגדול מערך הבעיה והנה למה.
דמיין לעצמך שאתה חוקר בשדה שיש בו 1000 השערות
שכרגע נחקרות.
בואו נניח ש-10% אחוזים מהן משקפות קשרים אמיתיים ושהיתר
הן שגויות, אבל אף אחד כמובן לא יודע מי מהן, זו כל הנקודה
בעשיית המחקר. 
עכשיו, בהנחה שהמחקרים מתוכננים היטב,
הם אמורים לזהות כהלכה בסביבות 
נאמר 80 מתוך 100 קשרים אמיתיים
זה ידוע ככח סטטיסטי של 80%, 
לכן 20 תוצאות הן שליליות-שגויות,
יתכן שגודל המדגם היה קטן מדי או שהמדידות לא היו
רגישות מספיק. עכשיו אם ניקח בחשבון שמתוך 
900 ההשערות השגויות האלה שמשתמשות
בערך p של 05., 45 השערות שגויות תחשבנה
בטעות לאמת. לגבי השאר, הן תזוהינה נכון כשגויות

Italian: 
La risposta intuitiva sembrerebbe essere il 5%.
Vale a dire, se tutti usano un p-valore inferiore a 0.05 come limite superiore per la significatività statistica,
ci si aspetterebbe che 5 risultati su 100 siano dei falsi positivi,
ma sfortunatamente questa è una stima grossolanamente al ribasso del problema; 
ed ecco perché...
Immaginate di essere dei ricercatori in un campo in cui è attualmente
in corso la verifica di 1000 ipotesi.
Assumiamo che il 10% di esse 
sia la manifestazione di correlazioni reali
e che il resto sia falso, ma nessuno sa quale è cosa; 
è proprio per questo che si fanno ricerche.
Ora, supponendo che gli esperimenti siano progettati abbastanza bene
essi dovrebbero correttamente identificare circa 80 delle 100 correlazioni reali
questo è noto come potere statistico dell'80%, 
di modo che 20 risultati sono falsi negativi,
forse il campione usato era troppo piccolo, 
oppure le misure non erano abbastanza accurate.
Considerando che fra quelle 900 ipotesi scorrette, usando un p-valore di 0.05,
45 ipotesi false saranno 
erroneamente considerate vere.
Quanto al resto, 
sarà correttamente rigettato in quanto falso.

Chinese: 
但是这带来了一个问题：
有多少已发表的研究文献是其实是错的？
直觉告诉我们答案似乎是百分之五。
如果每个人都使用不到 0.05 的 p值
作为统计显著性的的界限
那么每100个结果中有5个都是误报
但遗憾的是，这很糟糕地低估了问题，原因如下
想象一下，你是一个领域的研究员
那里有一千个假设
目前正在被研究中。
我们假设其中百分之十是真的存在相关性
而剩下的则是没有相关性的，
但当然没有人知道这是哪个真哪个假
当然啦，这就是为什么我们要做研究
现在假设每个实验都是精心设计好的
那这些实验应该能正确地找到这 100 个真
相关关系中的大概 80 个
这被称为 80% 的统计功效。
而 20% 是假阴性，可能因为样本数量太小
（假阴性：本来是正确的被误判为错误）
或者测量精细度不足
现在再考虑一下，在那 900 个假相关的的假设中，使用 0.05 的 p 值
45 个假的假设就会被错误地误判为真的
至于其余的，他们将被正确识别为假的

German: 
Aber damit stellt sich die Frage: Wie viel veröffentlichte Forschung ist in Wirklichkeit tatsächlich falsch?
Die intuitive Antwort scheint 5% zu sein. Ich meine, wenn jeder ein p kleiner als .05 als Grenzwert für statistische
Signifikanz verwendet, würde man erwarten, dass je 5 aus 100 Ergebnissen falsch-positive Resultate sind.
Dabei handelt es sich leider um eine grobe Unterschätzung und zwar aus folgenden Gründen.
Stell dir vor du bist ein Forscher in einem Gebiet wo zur Zeit 1000 Hypothesen untersucht werden.
Lass uns annehmen, dass 10% wahre Begebenheiten reflektieren, und die restlichen falsch sind.
aber natürlich weiss niemand, welche welche sind, und das ist ja genau der Grund um Forschung zu betreiben.
Angenommen die Experimente sind gut geplant, sollten sie etwa 80 der 100 wahren Begebenheiten identifizieren.
Das nennt man eine Teststärke von 80%, also 20 Ergebnisse sind falsch-negative Ergebnisse.
Vielleicht war der Stichprobenumfang zu klein oder die Messungen zu ungenau.
Nun berücksichtigen wir, dass aus diesen 900 falschen Hypothesen mit einem p-Wert von 0.05
45 falsche Hypothesen fälschlicherweise als wahr betrachtet werden.

Spanish: 
de hecho falsa? La respuesta intuitiva parece ser cinco por ciento. Quiero decir
si todos están usando p menos a .05 como punto de corte para significancia
estadística, esperarías que cinco de cada cien resultados sean falsos positivos
pero desafortunadamente esa es una estimación bastante baja del problema y esta es la razón.
Imagina que eres un investigador en un campo donde hay miles de hipótesis
siendo actualmente investigadas.
Asumamos que diez por ciento de ellas reflejan verdaderas relaciones y el resto
son falsas pero, por supuesto, nadie sabe cuál es cuál. Ese es el punto
de investigar. Ahora, asumiendo que los experimentos están bien diseñados,
deberían identificar correctamente cerca de 80 de cada 100 relaciones verdaderas
esto es conocido como poder estadístico del 80 por ciento, así que 20 resultados son falsos
negativos, tal vez el tamaño de la muestra era muy pequeño o las mediciones no fueron
lo suficientemente sensibles. Ahora consideren que de esas 900 hipótesis falsas (usando un
valor de p de .05) 45 hipótesis falsas serán consideradas
verdaderas incorrectamente. El resto será correctamente identificada como falsa

Korean: 
직관적인 답변은 아마 5%일거에요.
왜냐하면
모두가 p-값을 통해 0.05에서 통계적으로
중대성을 가늠하고 있으니까,
100가지의 결과물 중 5가지는 모두
허위 사실이라고 예상할 수 있겠죠.
그런데 불행하게도, 그건 이 문제를
지극히 과소평가하는거에요.
이유를 말씀드릴게요.
최근에 1000개의 가설이 연구되고 있는
현장에 당신이
연구자로 있다고 상상해보죠.
그 중 10%가 진실된 연관성을 나타내고,
나머지가 거짓이라고 가정해봅시다.
그런데 아무도 어떤게 옳고 그른지를 모르겠죠.
그게 연구의 궁극적 목표니까요.
실험 방식이 제법 잘 설계되었다고
가정한다면,
100가지 중 80가지는 옳은 연관성을
가지고 있다고 판명할 수 있을거에요.
이런걸 80%의 통계적 검증력이라고 해요.
그러니 20개의 결과는 부정오류 내용이에요.
어쩌면 표본 범위가 너무 작았거나,
측정 방식이 충분히 세밀하지 못했던거겠죠.
여기서 900개의 거짓 가설을
0.05의 p-값을 통해 살펴보면,
그 중 45개의 거짓된 가설들이 진실된
내용으로 잘못 인식되고 있을거에요.
그 외의 것들에 대해서는 결국
올바르게 거짓이라는 것이 판명될거에요.

Portuguese: 
Quantos dos artigos publicados são na realidade falsos?
A resposta intuitiva seria 5%,
já que se todas as pesquisas estão usando P menor que 0.05 como o valor de corte para significância estatística,
você esperaria que 5 a cada 100 resultados seriam falsos positivos.
Mas isso infelizmente subestima muito o problema.
E aqui o porquê:
Imagine que você é um perquisador
em um campo onde há 1000 hipóteses atualmente sendo investigadas.
Vamos assumir que 10% delas refletem relações verdadeiras
e o resto é falso, mas é claro que ninguém sabe qual é qual,
esse é o motivo de fazer a pesquisa.
Então, assumindo que as pesquisas são bem feitas,
elas deveriam identificar corretamente aproximadamente 80 das 100 relações verdadeiras
Isto é conhecido como um "poder estatístico de 80%"
Então 20 resultados são falsos negativos
Talvez o tamanho amostral foi muito pequeno
ou as medições não foram precisas o bastante.
Agora considere que das 900 hipóteses falsas
usando um valor de P de 0.05,
45 hipóteses falsas serão incorretamente
consideradas verdadeiras.
As demais serão corretamente consideradas falsas,

Portuguese: 
na verdade falsa? A resposta intuitiva seria aparentemente algo por volta de 5%. Quero dizer, se
todo mundo está usando p menor que 0,05 como ponto de corte para significância
estatística, você esperararia que cinco de cada cem resultados sejam falsos positivos
mas isso, infelizmente, subestima grandemente o problema e eis o porquê.
Imagine que você é um pesquisador em um campo onde há mil hipóteses
sendo atualmente investigadas
Vamos assumir que dez por cento delas refletem relações verdadeiras e o resto
é falso, mas é claro que ninguém sabe qual é qual, esse é exatamente o ponto
de se fazer pesquisa. Agora, assumindo que os experimentos são muito bem projetados,
eles devem identificar corretamente cerca de, digamos oitenta de cem relações verdadeiras.
Isso é conhecido como uma potência estatística de 80%, então 20 resultados são falsos
negativos, talvez o tamanho da amostra era muito pequeno ou as medidas não eram
suficientemente sensíveis. Agora considerando que dessas 900 hipóteses falsas usando um
valor-p de 0,05, 45 hipóteses falsas serão incorretamente
consideradas verdadeiras. Quanto ao resto, elas serão corretamente identificadas como falsas

English: 
actually false? The intuitive answer
seems to be five percent. I mean if
everyone is using p less than .05
as a cut-off for statistical
significance, you would expect five of
every hundred results to be false positives
but that unfortunately grossly
underestimates the problem and here's why.
Imagine you're a researcher in a field
where there are a thousand hypotheses
currently being investigated.
Let's assume that ten percent of them
reflect true relationships and the rest
are false, but no one of course knows
which are which, that's the whole point
of doing the research. Now, assuming the
experiments are pretty well designed,
they should correctly identify around
say 80 of the hundred true relationships
this is known as a statistical power of
eighty percent, so 20 results are false
negatives, perhaps the sample size was
too small or the measurements were not
sensitive enough. Now considered that
from those 900 false hypotheses using a
p-value of .05, forty-five false
hypotheses will be incorrectly
considered true. As for the rest, they
will be correctly identified as false

Portuguese: 
mas a maioria dos periódicos raramente publicam resultados nulos: eles formam apenas dez a trinta
por cento dos artigos dependendo do campo, o que significa que os artigos que
eventualmente são publicados incluirão 80 resultados positivos de verdade:
45 resultados falsos-positivos e talvez 20 resultados verdadeiros-negativos.
Praticamente um terço dos resultados publicados estarão errados
mesmo com o sistema funcionando normalmente. As coisas ficam ainda piores se os estudos estão
abaixo dessa potência estatística, e a análise tipicamente mostra que estão, se há uma razão maior
de hipóteses falsas para verdadeiras sendo testadas ou se os pesquisadores são tendenciosos.
Tudo isso foi apontado em uma artigo de 2005 entitulado ("Porque a maioria das publicações está errada").
Então, recentemente, pesquisadores em diversas áreas tentaram
quantificar o problema ao replicar alguns resultados proeminentes do passado.
O Projeto Reproducibilidade repetiu uma centena de estudos de psicologia mas descobriu que apenas
36% tinham um resultado estatisticamente significativo nessa segunda vez
e a força das relações medidas eram em média metade daquelas
nos estudos originais. Uma tentativa de verificação de 53 estudos considerados

Portuguese: 
mas a maioria das revistas raramente
publicam resultados negativos
Eles publicam apenas de 10 a 30% dos artigos dependendo da área
O que significa que os artigos que eventualmente são publicados
incluirão 80 resultados positivos verdadeiros,
45 falsos positivos
e talvez 20 resultados negativos
Aproximadamente um terço dos resultados publicados
estarão errados mesmo com o sistema funcionando normalmente.
E fica ainda pior se estudos são pouco precisos, e uma análise mostra que eles normalmente são,
se há uma proporção maior de hipóteses falsas para verdadeiras sendo testadas,
ou se os pesquisadores são tendenciosos.
Tudo isso foi apontado em um estudo de 2005 intitulado "Porque a Maioria dos Resultados de Pesquisa são Falsos".
Então recentemente, pesquisadores em várias áreas  estão tentando quantizar o problema
replicando resultados passados respeitados.
O "projeto de reprodutibilidade" repetiu 100 estudos na área de psicologia,
mas descobriu que apenas 36% tinha um resultado estatisticamente significante no segundo estudo,
e a força das relações foram em média metade das encontradas no primeiro estudo.

Chinese: 
但是大部分的学术期刊很少发布不相关的结果的研究
取决于不同的领域，这些研究只占到 10%-30%，
这意味最终发表的结果中
将只包括 80 个真实的正确结果，40 个假阳性结果
（假阳性：本来是错误的被误判为正确）
还有大概 20 个真阴性结果
（真阴性：本来是错误的被正确判定为错误）
也就是说，即便学术系统正常工作，也大概会有三分之一发表的结果是错的。
如果统计功效不足，结果还可能会更糟糕
分析表明一般的确如此，
如果 假-真 假设的比率更高
又或者研究人员有偏见
所有这些都在一个 2005 年标题为“为什么大多数已发表的研究都是假的”的论文中被指出
所以，最近，一些领域的研究人员在试图
重现一些以前的结果来量化这个问题
Reproducibility Project 重复了一百个
心理学的研究，发现只有
百分之三十六在第二次重复时依然有统计学意义
而测量的相关程度平均也只有原始研究的一半

German: 
Die restlichen werden korrekt als falsch identifiziert, aber die meisten Journale veröffentlichen
nur selten Nullresultate: Sie machen gerade mal 10 bis 30% der Artikel aus - je nach Forschungsgebiet.
Somit sind von jenen Artikeln, die schlussendlich veröffentlich werden,
80 richtig-positive Resultate, 45 falsch-positive Resultate, und vielleicht 20 richtig-negative Resultate.
Fast ein Drittel der veröffentlichten Resultate werden falsch sein, sogar wenn das System normal funktioniert
Es wird nur noch schlimmer, wenn Studien eine niedrige Teststärke aufweisen (was gemäss Analysen
üblicherweise zutrifft), wenn das Verhältnis zwischen falschen und richtigen Hypothesen grösser ist,
oder wenn die Forscher voreingenommen sind. All dies wurde in einem 2005 veröffentlichten Artikel
mit dem Titel "Warum die meisten veröffentlichten Forschungsergebnisse falsch sind" festgestellt.
Nun haben Wissenschaflter aus verschiedenen Gebieten kürzlich versucht, das Problem zu quantifizieren,
indem sie versuchten, prominente vergangene Resultate zu replizieren. Das "Reproduzierbarkeits-Projekt" hat 100
Psychologiestudien wiederholt, fand aber dass nur 36% der Studien beim zweiten Mal ein statistisch
signifikantes Resultat erbrachten. Und die Stärke der gemessenen Zusammenhänge waren im Durschnitt

Spanish: 
pero la mayoría de revistas científicas no publican algo sin resultados: a lo mucho sumarán 10 a 30
por ciento de los artículos dependiendo el área, lo que significa que los artículos que
eventualmente son publicados incluirán 80 resultados positivos verdaderos
45 resultados positivos falsos y tal vez 20 resultados negativos verdaderos
Cerca de un tercio de los resultados serán incorrectos
incluso con el sistema funcionando normalmente, las cosas se ponen peor si los estudios no tienen
poder suficiente, y los análisis muestran que esto pasa a menudos, si hay una mayor proporción
de hipótesis falsas-a-verdaderas siendo probadas o si los investigadores están sesgados.
Todo esto fue señalado en un artículo de 2005 titulado "Por qué la mayoría de la investigación publicada es falsa".
Así que, recientemente, los investigadores de varias áreas han intentado
cuantificar el problema replicando algunos de los resultados prominentes del pasado
El Proyecto de Replicabilidad repitió una centena de estudios psicológicos y determinó que sólo
36 por ciento tenían resultados estadísticamente significativos por dos ocasiones
y la fuerza de las relaciones medidas era, en promedio, la mitad de aquella
de los estudios originales. Un intento de verificar 53 estudios considerados

iw: 
אבל רוב הירחונים כמעט לא מפרסמים מחקרים שלא מציגים תוצאות: אלו מהווים רק 10-30 אחוזים
מהמחקרים, תלוי בתחום, מה שאומר שאלו
שמתפרסמים לבסוף יכללו 80 תוצאות חיוביות-אמיתיות,
45 תוצאות חיוביות-שגויות ואולי 20 תוצאות שליליות-אמיתיות.
קרוב לשליש מהתוצאות המפורסמות תהיינה שגויות
אפילו כשהמערכת עובדת באופן נורמלי. 
הדברים נהיים גרועים אפילו יותר אם מחקרים
חסרי כח סטטיסטי - וניתוח מראה שהם באופן טיפוסי כאלה, 
אם יש יחס גבוה יותר
בין השערות שגויות לאמיתיות מאלו שנבדקות 
או אם החוקרים מוטים.
כל זה צויין ב-2005 במסמך שכונה 
"מדוע רוב המחקר המפורסם שגוי".
אז לאחרונה, חוקרים ממספר תחומים ניסו
לכמת את הבעיה על ידי שחזור מספר תוצאות עבר נודעות.
פרויקט השחזור חזר על מאה מחקרים פסיכולוגיים, אבל מצא שרק
ל-36% היתה תוצאה מובהקת-סטטיסטית בפעם השניה
שבוצעו והכח הסטטיסטי של קשרים שנמדדו 
היה בממוצע חצי מזה
של המחקרים המקוריים. נסיון לאמת 53 מחקרים שנחשבו

Korean: 
그런데 대부분의 저널에서는 그런 결과를
출판하지 않아요. 단순히 상황에 따라서
10~30% 정도만 고쳐서 올리는 수준인거죠.
그게 무슨 말이냐면, 출판되는 문헌 중
결국 오직 80개만이 정말 사실을 포함한
결과가 될거라는 뜻이에요.
45개의 긍정 오류 결과가 있을테고,
20개의 정말 틀린 결과가 있을테죠.
출간되는 것들의 거의 1/3 정도가
틀릴 것이라는거죠.
심지어 이 시스템이 잘 작동해도 말이에요.
연구가 부족한 경우에는 상황이 더 나빠져요.
분석 결과에 따르면 이미 그러고 있다고 하죠.
혹은 이 거짓-진실 가설을 통해 더 많이
테스트한다거나 연구자들이 편향되어있을
때에도 상황은 더 나빠져요.
이 모든 것들이 2005년 "왜 출간되는 대부분의
연구들이 거짓인가"라는 제목으로 제시되었어요.
그래서 최근에 다양한 분야의 연구자들이
과거의 중요한 연구 결과들을
다시 실험하므로써 이 문제를
수량화시켜보려는 시도를 하고 있어요.
이 재현 프로젝트는 100가지의 심리학
연구를 반복했는데, 그 중 오직 35%만이
통계적으로 중대할만한 결과를
나타낸다는 것을 발견했어요.
그리고 측정된 진실 가치의 연관성은
본래 연구보다 절반 수준으로 낮았었죠.
암의 기초과학 분야에서 획기적인
사건으로 주목받았던 53개의 연구를

Italian: 
Ma...la maggior parte dei giornali raramente pubblicano uno studio che non riporta risultati: 
accettano solo tra il 10% e il 30%
degli articoli, a seconda dell'ambito,
il che vuol dire che gli articoli che
alla fine vengono pubblicati includeranno 80 risultati correttamente considerati positivi,
45 falsi positivi e forse 20 risultati negativi.
Circa un terzo dei risultati pubblicati sarà sbagliato
anche se il sistema funziona normalmente. 
La situazione peggiora se gli studi non dispongono
di mezzi adeguati 
(e la loro analisi dimostrano che spesso si dà il caso)
se il rapporto tra il numero di ipotesi false e vere è più alto o se i ricercatori hanno dei pregiudizi.
Tutti questi problemi sono stati sollevati in un articolo del 2005 intitolato "Perché la maggior parte della ricerca pubblicata è sbagliata"
Così, di recente ricercatori in numerosi ambiti hanno cercato di quantificare
il problema, replicando alcuni notevoli risultati del passato.
Il "Progetto Riproducibilità" ha ripetuto un centinaio di studi di psicologia ma ha dimostrato che solo
il 36% manteneva una qualche significatività statistica al secondo tentativo
e la solidità delle correlazioni osservate era in media la metà di quelle
degli studi originali. 
Un tentativo di verificare 53 studi

Czech: 
Ale většina časopisů zřídka zveřejňuje žádné výsledky, ty dosahují jen 10 až 30 % prací
v závislosti na oboru, to znamená, že ty, které jsou
publikovány, budou zahrnovat 80 správně pozitivních výsledků
45 falešně pozitivních výsledků a možná 20 správně negativních výsledků.
Téměř třetina zveřejněných výsledků bude špatně
a to dokonce v případě, že systém pracuje normálně, celé se to ještě zhorší, když
jsou studie poddimenzované, a analýzy ukazují, že obvykle jsou, když je větší poměr
chybných vůči správným hypotézám, které jsou testovány, nebo když jsou vědci zaujatí.
Na tohle všechno bylo upozorněno v práci z roku 2005, která se jmenovala: "Proč je většina zveřejněného výzkumu chybně".
Proto se nedávno výzkumníci z mnoha oborů pokusili
vyčíslit tento problém novým prozkoumáním předních výsledků
Tento přezkoumávací projekt zopakoval sto psychologických studií a zjistil, že jenom
36 % mělo statisticky významné výsledky při druhém kole
a síle zjištěných vztahů byla v průměru poloviční oproti
původním studiím. Pokus o ověření 53 studií považovaných

English: 
but most journals rarely published no
results: they make up just ten to thirty
percent of papers depending on the field,
which means that the papers that
eventually get published will include 80
true positive results:
45 false positive results and maybe 20
true negative results.
Nearly a third of published results will be wrong
even with the system working normally,
things get even worse if studies are
underpowered, and analysis shows they
typically are, if there is a higher ratio
of false-to-true hypotheses being tested
or if the researchers are biased.
All of this was pointed out in 2005 paper
entitled "Why most published research is false".
So, recently, researchers in a
number of fields have attempted to
quantify the problem by replicating some
prominent past results.
The Reproducibility Project repeated a hundred
psychology studies but found only
thirty-six percent had a statistically
significant result the second time
around and the strength of measured
relationships were on average half those
of the original studies. An attempted
verification of 53 studies considered

English: 
landmarks in the basic science of cancer
only managed to reproduce six even
working closely with the original
study's authors these results are even
worse than i just calculated the reason
for this is nicely illustrated by a 2015
study showing that eating a bar of
chocolate every day can help you lose
weight faster. In this case the
participants were randomly allocated to
one of three treatment groups:
one went on a low-carb diet, another one on
the same low carb diet plus a 1.5 ounce
bar of chocolate per day and the
third group was the control, instructed
just to maintain their regular eating
habits at the end of three weeks the
control group had neither lost nor
gained weight but both low carb groups
had lost an average of five pounds per
person
the group that a chocolate however lost
weight ten percent faster than the
non-chocolate eaters the finding was statistically
significant with a p-value less than .05
As you might expect this news
spread like wildfire, to the
front page of Bild, the most widely
circulated daily newspaper in Europe

Italian: 
considerati come pietre miliari nello studio del cancro è riuscito a riprodurne solo 6,
perfino lavorando a stretto contatto con gli autori degli studi originali
peggio di quanto io abbia appena stimato. 
Il motivo di ciò è ben illustrato da uno studio del 2015
che afferma che mangiare una tavoletta di cioccolato al giorno può aiutare a perdere peso
più velocemente. In questo caso, i partecipanti venivano assegnati casualmente
in uno di questi tre gruppi:
uno con una dieta a basso contenuto di carboidrati, un altro con la stessa dieta più una barretta di
1.5 once di cioccolato al giorno e il terzo gruppo era quello di controllo, a cui veniva detto
di conservare le proprie abitudini alimentari abituali. 
Alla fine delle tre settimane,
il gruppo di controllo non aveva né perso né guadagnato peso, ma entrambi gli altri due
avevano perso in media 5 libbre a persona.
Il gruppo con la barra di cioccolato, tuttavia, aveva perso peso il 10% più velocemente dell'altro
La scoperta aveva una significatività statistica con 
p-valore minore di 0.05.
Come ci si aspetterebbe, la notizia si è propagata come un incendio,
dalla prima pagina del Bild, 
il quotidiano europeo più popolare,

Portuguese: 
Uma tentativa de verificar 53 estudos considerados muito importantes na área de câncer
conseguiu reproduzir apenas 6, mesmo trabalhando com os autores dos estudos originais
Estes resultados são ainda piores do que eu acabo de calcular.
A razão para isso é bem ilustrada por um estudo de 2015 que mostra que
comer uma barra de chocolate pode ajudar você a  perder peso mais rápido
Nesse caso, os participantes foram aleatoriamente alocados para um dos três grupos de tratamentos diferentes.
Um consumiu uma dieta de pouco carboidrato.
Outro consumiu a mesma dieta de pouco carboidrato, mais uma barra de 42.5g de chocolate por dia.
E o terceiro foi o grupo de controle, instruído a manter seus hábitos alimentares normalmente.
No final de três semanas, o grupo de controle não havia perdido nem ganho peso.
Mas ambos grupos com dietas de pouco carboidrato perdeu em média 2.2kg por pessoa.
Porém, o grupo que comeu chocolate perdeu peso 10% mais rápido
do que o grupo que não comia chocolate.
A descoberta foi estatisticamente significante
com um valor de P menor que 0.05 .
Como se esperaria, esta notícia se espalhou rapidamente.
Desde a primeira página do jornal "Bild", o jornal mais amplamente circulado da Europa,

Czech: 
za milníky v základním výzkumu rakoviny, skončil úspěšným reprodukováním šesti.
Přesto, že se úzce spolupracovalo s autory původních výsledků. Tyto výsledky
jsou ještě horší, než co jsem spočítal. Příčina byla krásně ukázána v roce 2015
ve studii, která tvrdila, že tyčinka čokolády denně pomáhá rychleji snižovat váhu.
V tomto případě byli účastníci náhodně rozděleni
rozděleni do 3 skupin.
Jedna měla nízkosacharidovou dietu, druhá měla stejnou dietu ale k tomu 40 gramovou
tyčinku čokolády denně. Třetí skupina byla kontrolní, která měla jíst
to co, běžně jí. Po třech týdnech
kontrolní skupina měla stejnou váhu, ale obě skupiny s nízkosacharidovou dietou
ztratily v průměru 2 a čtvrt kilogramu na osobu.
Skupina s čokoládou, ale ztratila hmotnost o 10 % rychleji než skupina
bez čokolády. Závěr by statisticky významný s p-hodnotou menší než 0,05
Jak by jste čekali, zpráva se šířila jako oheň. Na přední stránku
Bildu, nejčtenějších novin v Evropě.

Chinese: 
一个尝试验证 53 项标志性的癌症基础科学研究结果的项目中
只有六个能够重现原作
这些甚至还是和原作者一起尝试的
这些结果比我刚刚计算的还要糟糕
对于这一点，2015 年有一个研究很好地说明了这一点
研究表明每天吃一块巧克力
就可以帮助你更快减肥
在这个研究中，参与者被随机分配到三个治疗组之一：
第一组进行低碳水化合物饮食，第二组进行
相同的低碳水化合物饮食加每天 43g 巧克力
第三组是对照组，被要求保持正常饮食习惯就好了
实验在三周后结束
对照组的体重不增不减，
但低碳水化合物组平均每人减掉 2.3kg
而巧克力组的减肥速度则比不吃巧克力的组要快 10%
这个发现是统计学上显著的，因为 p 值小于 0.05
正如你猜到的一样的，这个新闻
像野火一样蔓延
传到了 Bild 的头版，欧洲最广泛的日报

Portuguese: 
pontos de referência na ciência básica sobre câncer conseguiu reproduzir apenas seis, mesmo
trabalhando juntamente com os autores dos estudos originais. Esses resultados são ainda
piores do que eu calculei. A razão para isso é bem ilustrada por um estudo de
2015 mostrando que comer uma barra de chocolate todo dia pode ajudar a perder
peso mais rápido. Nesse caso os participantes eram associados aleatoriamente a
um de três grupos de tratamento:
um que era submetido a uma dieta com poucos carboidratos, outro na mesma dieta mais uma barra
de 1,5oz (~45g) de chocolate por dia e o terceiro grupo era o controle, sendo orientado
a manter seus hábitos alimentares normais. Ao fim de três semanas
o grupo de controle não tinha perdido nem ganhado peso, mas ambos grupos com menos carboidratos
haviam perdido uma média de 5lbs (~2,5kg) por pessoa.
No entanto, o grupo que comeu chocolate perdeu peso 10% mais rápido que os que não comeram chocolate.
A descoberta era estatisticamente significativa com um valor-p menor que 0,05.
Como você pode imaginar essa notícia espalhou-se como rastilho de pólvora, Chegando à
primeira página do Bild, o jornal diário de maior circulação na Europa

iw: 
לציוני-דרך במחקר הבסיסי של סרטן הצליח לשחזר רק שישה
אפילו בעבודה צמודה עם מחברי המחקר המקוריים. 
תוצאות אלה אפילו
גרועות מאלו שעכשיו חישבתי. 
הסיבה לכך הומחשה יפה על ידי
מחקר מ-2015 שמראה שאכילת חפיסת שוקולד
 כל יום עשויה לעזור לך להוריד
משקל מהר יותר. במקרה זה המשתתפים שובצו אקראית
באחת משלוש קבוצות טיפול:
אחת הלכה על דיאטה דלת-פחמימות, 
שניה על אותה דיאטה בצירוף חפיסת שוקולד
במשקל 42 גרם ביום 
והשלישית היתה הביקורת, שקיבלה הוראה
רק להמשיך בהרגלי האכילה הרגילים. בסיום 3 שבועות
קבוצת הביקורת לא הורידה ולא העלתה משקל 
אבל שתי קבוצות דלות הפחמימות
הורידו בממוצע 2.3 ק"ג לאדם.
הקבוצה שאכלה שוקולד לעומת זאת הורידה משקל 
10% מהר יותר מאשר
אלו שלא אכלו שוקולד. 
הממצאים היו מובהקים- סטטיסטית עם ערך p קטן מ-0.05 .
כפי שאתם עשויים לצפות החדשות האלה התפשטו 
כמו אש בשדה קוצים,
לעמוד השער של בילד, העיתון היומי הנפוץ ביותר באירופה

Spanish: 
como referenciales en la ciencia básica del cáncer solo pudo reproducir seis, incluso
trabajando de cerca con los autores de los estudios originales. Estos resultados son incluso
peores que los que yo calculé. La razón para ello está muy bien ilustrada por un estudio
de 2015 que muestra que comer una barra de chocolate cada día puede ayudarte a perder
peso más rápido. En este caso, se ubicó a los participantes aleatoriamente en
uno de tres grupos de tratamiento:
uno fue a una dieta baja en carbohidratos, otro fue a la misma dieta más una barra de 1.5 onzas
de chocolate por día y el tercer grupo fue el control, y se les dijo que
mantuvieran sus hábitos alimenticios regulares. Al final de las tres semanas,
el grupo control no había perdido ni ganado peso pero ambos grupos bajos en carbohidratos
habían perdido un promedio de cinco libras por persona
sin embargo, el grupo que comió chocolate perdió peso diez por ciento más rápido que los
no comedores de chocolate. El hallazgo fue estadísticamente significativo con un valor-p menor a .05
Como era de esperarse, estas noticias se esparcieron como un incendio, en la
primera plana del Bild, el diario de mayor circulación en Europa

Korean: 
검증했을 때에는, 오직 6개만이
재현 가치가 있다고 판정되었어요.
심지어 본래의 연구 저자가 했던 것과 비슷한
방식을 취하더라도 말이죠. 이 결과는 사실
제가 좀전에 계산한 것보다 나빠요. 이에
대한 이유는 2015년 연구에서 잘 나타났는데,
그 연구는 매일 초콜릿을 하나씩 먹으면 몸무게를
줄이는 것을 더 빠르게 할 수 있다는 내용이었죠.
이 실험에서는 참가자들이
세 종류의 처리 그룹 중
하나로 임의적 배분되었는데요.
하나는 저탄소 식단, 다른 하나는 저탄소 식단에
매일 42.5g의 초콜릿을 추가한 것이었고,
세번째 그룹은 통제 변인이었는데,
평소대로 식단을 유지하게 한거죠.
3주 후에,
통제 그룹은 몸무게가 빠지지도 오르지도 않았어요.
그렇지만 저탄소 그룹 둘 모두는
평균 2.3kg 정도씩 몸무게가
빠졌었죠.
그런데 초콜릿을 섭취했던 그룹은 그렇지
않은 그룹에 비해 10%정도 더 빨리 살이 빠졌어요.
이 발견은 p-값이 0.05보다 낮았기 때문에
통계적으로 의미를 가질만 했었어요.
예상하셨겠지만, 이 소식은
삽시간에 퍼져나갔어요.
유럽에서 가장 잘 먹히는 일일신문인
Bild의 전면에 실렸었고,

German: 
nur halb so gross wie in den ursprünglichen Studien. Beim Versuch, 53 Studien, die man als richtungsweisend
in der Krebsforschung betrachtete, konnten nur 6 Ergebnisse replizieren, sogar in Zusammenarbeit
mit den Autoren der ursprünglichen Studien. Diese Ergebnisse sind sogar schlechter
als meine Berechnungen. Der Grund dafür lässt sich gut am Beispiel eines Artikels von 2015 erläutern,
in dem gezeigt wurde, dass man schneller abnehmen kann, indem man eine Tafel Schokolade pro Tag isst.
In diesem Fall wurden Studienteilnehmer zufällig in eine von drei Behandlungsgruppen eingeteilt:
Die eine machte eine low-carb Diät, die zweite machte die gleiche low-carb Diät plus 43g Schokolade pro Tag,
die dritte wurde als Kontrollgruppe gebeten, einfach ihre bisherigen Essgewohnheiten beizubehalten.
Nach 3 Wochen hatte die Kontrollgruppe weder zu- noch abgenommen, aber beide low-carb Gruppen hatten
durschnittlich 2.3kg pro Person abgenommen. Allerdings hatte die Gruppe mit der Schokolade
10% schneller abgenommen als die ohne. Das Ergebnis war mit einem p-Wert kleiner als 0.05 signifikant.
Wie erwartet verbreitete sich diese Neuigkeit in den Nachrichten wie ein Lauffeuer, unter anderem auf die
Titelseite der "Bild", der meistgelesenen Tageszeitung in Europa, in den "Daily Star", den "Irish Examiner",

English: 
and into the Daily Star, the Irish Examiner,
to Huffington Post and even Shape Magazine
unfortunately the whole thing had been
faked, kind of. I mean researchers did
perform the experiment exactly as they
described, but they intentionally
designed it to increase the likelihood
of false positives: the sample size was
incredibly small, just five people per
treatment group, and for each person 18
different measurements were tracked
including: weight, cholesterol, sodium,
blood protein levels, sleep quality,
well-being, and so on; so if weight loss
didn't show a significant difference
there were plenty of other factors that
might have. So the headline could have
been "chocolate lowers cholesterol" or
"increases sleep quality" or... something.
The point is: a p-value is only
really valid for a single measure
once you're comparing a whole slew of
variables the probability that at least
one of them gives you a false positive
goes way up, and this is known as "p-hacking".
Researchers can make a lot of
decisions about their analysis that can
decrease the p-value, for example let's
say you analyze your data and you find

Spanish: 
y en Daily Star, the Irish Examiner, Huffington Post e incluso la revista Shape
desafortunadamente todo había sido falsificado, más o menos. Los investigadores sí
realizaron el experimento exactamente como lo describieron, pero lo diseñaron
intencionalmente para incrementar la probabilidad de falsos positivos: el tamaño de la muestra era
increíblemente pequeño, sólo cinco personas para el grupo de tratamiento y, por cada persona 18
medidas diferentes fueron registradas, incluyendo: peso, colesterol, sodio,
niveles de proteínas en sangre, calidad de sueño, bienestar, entre otros; así, si la pérdida de peso
no mostraba una diferencia significativa habían muchos otros factores que
podían hacerlo. Así el titular pudo ser "el chocolate reduce el colesterol" o
"incrementa la calidad de sueño" o... algo.
El punto es: un valor-p es realmente válido solamente para una medición
cuando comparas un montón de variables, la probabilidad de que al menos
una de ellas te de un falso positivo se incrementa, a esto se le conoce como "p-hacking".
Los investigadores puede tomar muchas decisiones acerca de su análisis para
disminuir el valor-p. Digamos, por ejemplo, que analizas tus datos y hallas

German: 
"Huffington Post" und sogar "Shape Magazine". Leider war das ganze eine Fälschung - zumindest irgendwie.
Die Forscher führten das Experiment zwar genau so durch, wie beschrieben, aber sie planten es absichtlich
so, dass die Wahrscheinlichkeit falsch-positiver Ergebnisse erhöht war: Der Stichprobenumfang war
extrem klein - nur 5 Personen pro Behandlungsgruppe - und für jede Person wurden 18 verschiedene Messungen
aufgezeichnet, einschliesslich Gewicht, Cholesterinspiegel, Salz, Blutproteinwerte, Schlafqualität
Wohlbefinden, und so weiter. Hätte man also keinen signifikanten Unterschied im Körpergewicht festgestellt,
hätte es genug andere Faktoren gegeben um Unterschiede zu finden. Die Schlagzeile hätte vielleicht
"Schokolade reduziert Cholesterin" oder "verbessert Schlafqualität" oder sowas sein können.
Der Punkt ist: ein p-Wert ist wirklich nur für eine einzelne Metrik gültig. Sobald man eine ganze Reihe an Variabeln
vergleicht, steigt die Wahrscheinlichkeit für falsch-positive Ergebnisse erheblich, und das nennt man
"p-hacking". Forscher können zahlreiche Entscheidungen bezüglich ihrer Analysen treffen
die den p-Wert reduzieren. Nehmen wir zum Beispiel an, dass du deine Daten analysierst und feststellst, dass du

Chinese: 
并进入Daily Star，Irish Examiner，
到 Huffington Post 甚至是 Shape Magazine
不幸的是，这整个都是伪造的，从某种意义上。
我的意思是研究人员
完全像他们描述的一样进行实验，但他们故意设计实验
来增加它的 假阳性 的可能性：样本非常小
每个治疗组只有 5 个人，每个人则被测量追踪了 18 个不同的指标
包括：体重，胆固醇，钠，
血蛋白水平，睡眠质量，
幸福度，等等
所以如果减肥没有显示出显着差异
还有很多其他因素可能有
所以那时报纸头条就可能是“巧克力降低胆固醇”或
“提高睡眠质量”之类的了
重点是：p 值只对单一指标有效
一旦你比较了一大堆变量
其中一个变量给你一个假阳性的概率就大大提高了，
这被称为“p-hacking”。
研究人员在其分析中可以采取很多手段来降低 p 值，

Korean: 
Daily Star에도, Irish Examiner에도,
허핑턴 포스트에도, 심지어 Shape Magazine에도
실렸었죠.
불행하게도 이 모든 것들이 거짓이었어요.
일부는 말이죠. 무슨 말이냐면, 연구자들이
그들이 묘사한 그대로 정확하게 실험을 하기는
했어요. 그런데 그들은 의도적으로
긍정 오류의 가능성을 높히도록 실험을
설계했었어요. 표본이 너무 작았고,
그룹 당 5명 밖에 없었어요.
그리고 각각 사람마다 18가지의
서로 다른 측정을 진행했었어요.
거기에는 몸무게, 콜레스테롤 수치, 염분,
혈중단백질 농도, 수면의 질, 웰빙과 같은 것들이
포함되어있었죠. 그러니 체중감량이
눈에 띄는 차이를 보이지 않더라도,
작용하는 수많은 요인이 있을 수 있었던거죠.
그러니 제목이 "초콜릿이 콜레스테롤
수치를 낮춘다"라던지
"수면의 질을 높힌다"라던지 그런
다른 것들이 되었어야하는거죠.
요점은 p-값이 오직 하나의 측정치에서만
실질적인 가치를 갖는다는거에요.
다수의 변수를 비교하려하기만 해도,
아무리 적어도 그들 중 하나가 긍정 오류의
결과를 나타낼 가능성이 압도적으로 증가해요.
그리고 이런 것을 "p-hacking"라고 해요.
연구자들은 그들의 분석치의 p-값을 낮추기
위한 다양한 방식을 가지고 있어요.
예를 들어, 당신이 무언가를 분석하고
그 데이터가 거의 근접하게

iw: 
ולדיילי סטאר, האייריש אקזמינר, האפינגטון פוסט 
ואפילו למגזין שייפ.
לרוע המזל כל העניין זויף, סוג של. 
אני מתכוון שהחוקרים
כן ערכו את הניסוי כפי שתיארו, אבל הם באופן מכוון
עיצבו אותו כך שיעלה את הסבירות לתוצאות חיוביות שגויות: 
גודל המדגם היה
קטן באופן בלתי נתפס, רק 5 אנשים לכל קבוצת טיפול, 
ועבור כל אדם עקבו
אחרי 18 מדדים שונים כולל: משקל, כולסטרול, סודיום,
רמות חלבון בדם, איכות שינה, מידת אושר וכן הלאה;  
כך שאם אובדן משקל
לא היה מראה שונות משמעותית 
היו מבחר גורמים אחרים שעשויים היו להראות כזו.
אז הכותרות יכלו להיות "שוקולד מוריד כולסטרול" או
"מעלה את איכות השינה" או... משהו.
הנקודה היא: ערך p תקף באמת רק עבור מדד יחיד.
ברגע שאתם משווים מאגר שלם של משתנים ההסתברות שלפחות
אחד מהם נותן לכם חיובי-שגוי עולה מאוד
דבר זה ידוע כ"p-האקינג".
חוקרים יכולים לקבל מספר רב של החלטות 
לגבי הניתוח שלהם שיכול
להוריד את ערך ה-p, למשל נניח שאתם רוצים 
לנתח את המידע שלכם ואתם מוצאים

Portuguese: 
Até o "Daily Star, o "Irish Examiner", "The Huffington Post".
E até mesmo o "Shape Magazine".
Infelizmente, o artigo foi inventado.
Mais ou menos...
Na verdade, os pesquisadores realmente fizeram o experimento
exatamente como descrito.
Mas eles intencionalmente o construiram
para aumentar as chances de falsos positivos.
O tamanho amostral era incrivelmente pequeno, apenas 5 pessoas por grupo,
e para cada pessoa, dezoito diferentes medidas foram feitas,
incluindo peso, colesterol, sódio, níveis de proteínas no sangue, qualidade de sono, bem estar, etc,
Então, se perda de peso não demostrasse uma mudança significativa,
haviam muitos outros fatores que poderiam demonstrar.
Então as manchetes poderiam ser "Chocolate diminui o colesterol" ou "aumenta a qualidade do sono" ou qualquer outra coisa.
o ponto é que o valor de P é válido apenas para uma só medida.
Quando você está comparando muitas variáveis,
a probabilidade de ao menos uma delas dar um falso positivo sobe muito.
E isso é conhecido como "P-hacking". (Decidir a maneira de se analisar os dados com base nos resultados)
Os pesquisadores podem fazer várias decisões sobre suas análises que podem diminuir o valor de P.

Czech: 
do Daily Star, Irish Examiner, do Huffington Post a dokonce do Shape Magazine.
Naneštěstí, celá záležitost byla vlastně trochu podvod. Výzkumníci
provedli experiment přesně jak popsali, ale záměrně
jej navrhli tak, aby zvýšili pravděpodobnost falešně pozitivního výsledku. Počet testovaných osob
byl velmi malý, jen 5 lidí ve skupině a pro všechny bylo zaznamenáváno 18
různých hodnot a to včetně váhy, cholesterolu, sodíku,
bílkoviny v krvi, kvality spánku, celkového pocitu a tak dále. Takže, kdyby úbytek výhy
neukázal významný rozdíl, našel by se jiný faktor,
který by rozdíl udělal. Takže titulky by zněly: "Čokoláda snižuje hladinu cholesterolu" nebo
"..zlepšuje kvalitu spánku" nebo něco jiného...
Jde o to, že p-hodnota je platná pro jedno měření.
Jakmile srovnáváte celou skupinu proměnných,  pravděpodobnost, že alespoň
jedna z nich dá falešně pozitivní výsledek, roste. Tomu se říká p-hacking.
Výzkumníci mohou udělat spoustu rozhodnutí o svém výzkumu, které
snižují p-hodnotu, například řekněme, že analyzujete data a zjistíte,

Portuguese: 
ao Daily Star, ao Irish Examiner, ao Huffington Post e mesmo a Shape Magazine.
Infelimente a coisa toda havia sido forjada, mais ou menos. Quero dizer, os pesquisadores
realizaram o experimento exatamente como o haviam descrito, mas eles o projetaram
intencionalmente para aumentar a chance de falsos positivos: o tamanho da amostra era
incrivelmente pequeno, apenas cinco pessoas por grupo de tratamento, e para cada pessoa dezoito
medidas diferentes era rastreadas incluindo: peso, colesterol, sódio,
níveis de proteína no sangue, qualidade do sono, bem-estar, e assim por diante; então se a perda de peso
não mostrasse diferenças significativas havia diversos outros fatores que
talvez o fizessem. Então a manchete poderia ter sido: "chocolate diminui o colesterol" ou
"aumenta a qualidade do sono" ou... alguma coisa.
A questão é: um valor-p só é realmente válido para uma única medida
uma vez que você está comparando um monte de variáveis a probabilidade de que pelo menos
uma delas te dê um falso positivo cresce muito, e isso é conhecido como "p-hacking".
Pesquisadores podem tomar muitas decisões sobre sua análise que são capazes de
diminuir o valor-p, por exemplo, digamos que você analise seus dados e descubra-os

Italian: 
fino al Daily Star, l'Irish Examiner, L'Huffington Post e perfino Shape Magazine.
Sfortunatamente, l'intera faccenda era stata in qualche modo falsata. Cioè, i ricercatori
avevano effettuato l'esperimento esattamente nel modo in cui lo avevano descritto,
ma lo avevano intenzionalmente progettato in modo da accrescere la probabilità di esiti falsi positivi: 
la dimensione del campione
era straordinariamente piccola, solo cinque persone per gruppo, e per ciascuna persona
18 valori differenti venivano monitorati,
fra cui peso, colesterolo, sodio,
livelli di proteine nel sangue, qualità del sonno, benessere generale, e così via; 
quindi, se il dimagrimento
non mostrava differenze significative, c'era tuttavia una moltitudine di altri fattori che avrebbero potuto esibirle.
Perciò il titolo dell'articolo avrebbe potuto essere "il cioccolato abbassa il colesterolo" oppure
"migliora la qualità del sonno" o...qualcos'altro.
Il punto è che il p-valore è significativo solo per la misura di un singolo parametro,
ma quando si misura una quantità di variabili, 
la probabilità che almeno una di esse
risulti in un falso positivo cresce sostanzialmente; 
e questo è noto come "p-hacking".
I ricercatori possono prendere molte decisioni 
sulle loro analisi che
possono far decrescere il p-valore; ad esempio, supponiamo che voi analizziate i vostri dati e scopriate

Portuguese: 
Por exemplo. Vamos dizer que você analisa seus dados e você nota que eles quase alcançam significância estatística,
então você decide coletar mais alguns dados para ter certeza.
Então, se o valor de P cai abaixo de 0.05, você para de coletar dados
certo de que esses dados adicionais só poderiam ter deixado os dados mais significativos se realmente houvesse uma relação.
Mas simulações numéricas mostram
que relações pode cruzar o limite de significância adicionando-se mais dados
mesmo que uma amostra muito maior mostraria que na verdade não há relação.
Na verdade, há várias formas de aumentar  a probabilidade de resultados significativos,
como ter duas variáveis dependentes,
adicionar mais observações, separando por gênero ou abandonar uma de três condições.
Combinando todas essas três estratégias aumenta a chance de  falso positivo para mais de 60%!
E isso mesmo utilizando P menos que 0.05
Se você acha que esse é um problema apenas para psicologia, neurociência ou medicina,
considere o 'pentaquark', uma partícula exótica constituída de cinco 'quarks', em vez de três como para prótons ou nêutrons.

Portuguese: 
próximos da significância estatística, então você decide coletar
apenas mais alguns pontos de dados para ter certeza.
Então se o valor-p cai abaixo de 0,05 você para de coletar dados, confiante de que
esses pontos adicionais só poderiam torná-lo mais significativo se
houvesse uma relação verdadeira lá. Mas simulações numéricas mostram
que relações podem cruzar o limite de significância ao adicionarmos mais
pontos mesmo quando uma amostra bem maior mostraria que não há
de fato uma relação. De fato, há um grande número de maneiras para aumentar a
probabilidade de resultados significativos como: ter duas variáveis dependentes, adicionar
mais observações, controlar para gênero, ou descartar uma de três condições.
Combinar todas as três estratégias juntas aumenta a
probabilidade de um falso-positivo para mais de 60%, e isso usando p menor que 0,05.
Agora se você pensa que esse é um problema só da psicologia,
neurociência ou medicina, considere o pentaquark, uma partícula exótica feita
de cinco quarks, em vez dos três regulares para prótons e nêutrons.

Czech: 
že téměř dosáhla statistické významnosti, tak se rozhodnete nasbírat
jen trochu méně dat, a ujistíte se, že
když p-hodnota klesne pod 0,05, zastavíte sbírání dat. A jste si jistý, že
další data můžou udělat výsledek jenom více statisticky významný,
pokud skutečně existuje hledaný vztah. Ale numerické modely ukazují,
že závislost může překročit hranici významnosti přidáváním dat,
i když velký vzorek dat ukazuje, že žádný
vztah není. Ve skutečnosti je velké množství způsobů, jak zvýšit
pravděpodobnost významnosti výsledku, jako například: mít dvě závislé proměnné,
přidávat více sledování,  ověřovat pohlaví, vypustit jednu nebo tři podmínky.
Kombinováním všech tří strategií dohromady zvyšuje
pravděpodobnost falešně pozitivního výsledku až přes 60 % za použití p-hodnoty menší než 0,05
Teď si myslíte, že je to jen problém psychologie,
neurověd a medicíny, ale podívejme se na pentakvark, exotická částice,
která je složená z 5 kvarků, na rozdíl od tříkvarkových protonů a neutronů.

German: 
beinahe statistische Signifikanz erreichst. So entscheidest du dich, noch ein paar Datenpunkte mehr
zu sammeln, nur um sicher zu gehen. Wenn der p-Wert dann unter 0.05 sinkt, hörst du auf, Daten zu sammeln,
in der Zuversicht, dass zusätzliche Daten das Ergebnis lediglich noch signifikanter machen würden,
wenn ein echter Zusammenhang existiert. Aber numerische Simulationen zeigen, dass
Zusammenhänge die Signifikanzgrenze passieren können, indem man mehr Daten sammelt,
obwohl eine viel grössere Stichprobe zeigen würde, dass in Wirklichkeit kein Zusammenhang besteht.
Tatsächlich gibt es unzählige Wege, die Wahrscheinlichkeit signifikanter Resultate zu erhöhen:
Zwei von einander abhängige Variablen haben, zusätzliche Daten sammeln, nach Geschlechtern
trennen, oder von einer aus drei Bedingungen absehen. Die Kombination aller drei Strategien
erhöht die Wahrscheinlichkeit von einem falsch-positiven Ergebnis auf über 60%, und das mit einem
p kleiner als .05. Wenn du nun glaubst, dass sei nur ein Problem in Psychologie, Neurowissenschaft oder
Medizin, dann nehmen wir das "Pentaquark", ein exotisches Partikel bestehend aus bis zu 5 Quarks,
im Gegensatz zu den normalen 3, wie für Protonen und Neutronen.

Chinese: 
例如说你在分析你的数据时，
你发现结果刚刚达到统计显著性，
所以你决定收集更多的数据点，
来使你更确信 p 值确实降到 0.05 以下了
如果 p 值跌到 0.05 以下，
你就停止收集数据，
你觉得如果确实有相关性的话
额外的数据点也只会使结果更加显著
但是数值模拟表明
如果不断增加数据点，
这个相关性有可能会越过统计学显著的阈值，
但如果样本数量更多时，结果却显示并没有相关性
事实上，有很多方法可以增加显著结果的可能性
例如：设置两个因变量，增加更多的观测
控制性别，或者放弃三个条件中的一个
结合这三种策略总共能增加超过 60% 假阳性的可能性，
而这只是使用了 0.05 的 p 值
现在，如果你认为这个问题只出现在心理学，神经科学或医学上
那可以参考一下“五夸克”的发现，
一种由五个夸克构成的神秘粒子
不是像质子或中子一样由三个夸克构成。

Korean: 
통계적 유의성을 갖는다고 해보죠.
그래서 확실히 하기 위한
몇가지의 데이터만 더 모아보기로 하죠.
그리고나서 p-값이 0.05 아래로 내려가면
데이터 수집을 그만둘거에요. 앞으로 모을
추가적인 데이터는 단순히 결과에 신빙성을 조금 더
주는 수준일거라고 확신하고 말이죠.
그리고 거기에 정말 진실된 연관성이 있었다고 확신에
차있겠죠. 그런데 수치 시뮬레이션에 의하면,
이 연관성이 몇개의 데이터를 추가하는걸로
유의성 기준치를 초과할 수 있다고 해요.
심지어 더 큰 표본에서도 사실상 연관성이
없었다고 나타나기도 하는거죠.
사실, 결과를 중대상 사실로 보이게 하는
가능성을 높히는 것에는
정말 많은 방법들이 있어요. 
두개의 종속 변수를 둔다던지,
관찰 대상을 늘린다던지, 성별을 통제한다던지,
혹은 세 조건 중 하나를 떨어뜨리는 방식으로 말이죠.
이 세가지 전략을 조합해보면
긍정 오류를 보일 가능성이
60% 이상 증가하게 되요.
p-값을 0.05 아래로 사용해도 나타난다는거죠.
이 문제가 단순히 심리학이나, 신경과학이나
제약 같은 것들에서만 나타난다고
생각하실 수 있는데, 펜타쿼크를 고려해보죠.
5개의 쿼크로 형성된 독특한 입자인데,
양성자나 중성자는 정규적으로
3개의 쿼크를 가지고 있으니까요.

Spanish: 
que casi llega a la significancia estadística, así que decides recolectar
unos pocos datos más sólo para asegurarte
entonces, si el valor de p cae por debajo de .05 dejas de recolectar datos, confiando en que
estos datos adicionales sólo podrían hacer que el resultado sea más significativo si
existiera una relación verdadera, pero las simulaciones numéricas demuestran
que las relaciones pueden cruzar el umbral de significancia al añadir más
puntos de datos a pesar de que una muestra mucho más grande demostraría que en realidad
no existe relación. De hecho, hay un gran número de formas para incrementar la
probabilidad de resultados significativos como: tener dos variables dependientes, añadir
más observaciones, corregir por género, o eliminar una de estas tres condiciones
combinando estas tres estrategias incrementa la
probabilidad de un falso positivo a más del 60 por ciento, y eso es usando un valor de p menor a .05
Ahora, si piensas que este es un problema solo para psicología
neurociencia o medicina, considera el pentaquark, una partícula exótica compuesta
de cinco quarks, al contrario de los típicos tres protones y neutrones

Italian: 
che questi hanno quasi abbastanza significatività statistica e che decidiate di raccoglierne
appena un'altra manciata per essere sicuri.
A quel punto, se il p-valore scende sotto lo 0.05, smettete di raccogliere dati,
certi che questi ulteriori dati appena raccolti possano solo avere irrobustito il risultato,
assumendo che sussista una correlazione reale. 
Ma simulazioni numeriche dimostrano
che le correlazioni possono superare la soglia di significatività aggiungendo un po' di dati in più
sebbene un campione molto più grande mostrerebbe che in realtà non esiste
nessuna correlazione !
Di fatto, esistono molti modi
per accrescere la verosimiglianza di risultati significativi, per esempio: avere due variabili dipendenti,
aggiungere più osservazioni, verificare la dipendenza dal genere o eliminare una fra tre richieste
usare queste tre strategie insieme accresce la verosimiglianza
di un falso positivo fino al 60%,
il tutto usando un p inferiore a 0.05.
Se pensate che questo sia un problema solo per la psicologia,
le neuroscienze o la medicina, considerate il pentaquark, una particella esotica
costituita da cinque quark, invece che i soliti tre per i protoni ed i neutroni.

iw: 
שהוא כמעט מגיע לרף החשיבות הסטטיסטית, 
 אז אתם מחליטים לאסוף
רק עוד קצת נקודות מידע כדי להיות בטוחים.
אז, אם ערך ה-p יורד מתחת ל-0.05
אתם מפסיקים לאסוף מידע, בטוחים
שנקודות מידע נוספות אלה רק היו יכולות לגרום לתוצאה להיות יותר משמעותית אם
באמת היה שם קשר אמיתי, אבל הדמיות נומריות מראות
שקשרים יכולים לחצות את רף החשיבות על ידי הוספת
עוד נקודות מידע אפילו אם מדגם גדול הרבה יותר 
יראה שלמעשה אין קשר.
למעשה, יש מספר רב של דרכים להעלות את
הסבירות של תוצאות משמעותיות כמו: 
קיום שני משתנים תלויים,
הוספת עוד תצפיות, בקרת מגדר 
או גריעת אחד משלושה תנאים.
שילוב כל שלושת האסטרטגיות האלה יחד מעלה
את הסבירות לחיובי-שגוי למעל 60%, 
וזאת בשימוש בערך p של פחות מ-0.05.
עכשיו אם אתם חושבים שזו רק בעיה בפסיכולוגיה,
מדעי המוח או רפואה,  תסתכלו על פנטקווארק, 
חלקיק אקזוטי העשוי
מ-5 קווארקים, בניגוד ל-3 הרגילים עבור פרוטונים או ניוטרונים.

English: 
it nearly reaches statistical
significance, so you decide to collect
just a few more data points to be sure
then if the p-value drops below .05 you
stop collecting data, confident that
these additional data points could only
have made the result more significant if
there were really a true relationship
there, but numerical simulations show
that relationships can cross the
significance threshold by adding more
data points even though a much larger
sample would show that there really is
no relationship. In fact, there are a
great number of ways to increase the
likelihood of significant results like:
having two dependent variables, adding
more observations, controlling for gender,
or dropping one of three conditions
combining all three of these strategies
together increases the
likelihood of a false-positive to over sixty
percent, and that is using p less than .05
Now if you think this is
just a problem for psychology
neuroscience or medicine, consider the
pentaquark, an exotic particle made
up of five quarks, as opposed to the
regular three for protons or neutrons.

Korean: 
입자 물리학은 통계적 유의성에 대해
특히 엄격한 요구를 채택하는데,
5-시그마 혹은 350만 분의 1의 긍정 오류에
대해 나타내는 수준이죠.
2002년, 일본의 실험에서 Θ-plus
펜타쿼크의 존재 증거를 찾아냈어요.
그리고 그 후 2년 안에, 다른 11개의
독립적인 실험에서도
찾아보고 똑같은 펜타쿼크의 증거를 발견했어요.
아주 높은 수준의
통계적 유의성을 가진채로 말이죠.
2003년 7월부터 2004년 5월까지,
펜타쿼크의 이론적 논문이 평균잡아
거의 하루도 빠짐없이 출간되었어요.
그런데, 하... 잘못된 발견이었어요.
통계적 검증력을 통해 Θ-plus 펜타쿼크가
사실임을 보여주려던 실험적 시도들에서
펜타쿼크 존재의 흔적을 아무것도
찾아내지 못했거든요.
문제는 초기의 과학자들이 이 데이터에
대해 모르고 있지 않았다는거에요.
그들은 수치가 어떻게 나올지를 알고 있었고,
어떠한 답이 나올지도 예상하고 있었죠.
데이터가 편집, 분석되거나 p-hack되는
방식을 거치면서 잘못된 결과를 만들어낸거죠.
대부분의 과학자들이 악의를 가지고 p-hack하지는
않아요. 그들이 데이터를 모으고,
분석하고, 보고하는데에 기용된 적당한
결정들이 결과값의 통계적 유의성에

English: 
Particle physics employs particularly
stringent requirements for statistical
significance referred to as 5-sigma or
one chance in 3.5 million of getting a
false positive, but in 2002 a Japanese
experiment found evidence for the
Theta-plus pentaquark, and in the two years
that followed 11 other independent
experiments then looked for and found
evidence of that same pentaquark with
very high levels of statistical
significance. From July 2003 to
May 2004 a theoretical paper on pentaquarks
was published on average every
other day, but alas, it was a false
discovery for their experimental
attempts to confirm that theta-plus
pentaquark using greater statistical
power failed to find any trace of its
existence.
The problem was those first scientists
weren't blind to the data, they knew how
the numbers were generated and what
answer they expected to get, and the way
the data was cut and analyzed, or p-hacked,
produced the false finding.
Now most scientists aren't p-hacking
maliciously, there are legitimate decisions to be
made about how to collect, analyze and
report data, and these decisions impact

iw: 
פיזיקת חלקיקים מפעילה דרישות קפדניות באופן מיוחד
למובהקות-סטטיסטית המכונות 5-סיגמא 
כלומר סיכוי של אחד ל-3.5 מליון של קבלת
חיובי-שגוי, אבל ב-2002 ניסוי יפני מצא עדות
לתטא-פלוס פנטאקוורק, ובשנתיים העוקבות 
11 מחקרים עצמאיים אחרים
חיפשו אחרי ומצאו עדות לאותו פנטאקווארק
עם רמות גבוהות מאוד של מובהקות סטטיסטית. מיולי 2003
למאי 2004 מאמר תיאורטי על פנטאקווארק פורסם בממוצע 
יום כן יום לא
אך אבוי, זו היתה תגלית שגויה שכן ההשתדלויות הניסיוניות
לאשר שתטא-פלוס פנטאקווארק (קיים) על ידי שימוש 
בכח סטטיסטי רב יותר
כשלו במציאת כל עקבה שהיא לקיומו.
הבעיה היתה שאותם מדענים ראשונים לא היו עיוורים לנתונים, 
הם ידעו כיצד
המספרים יוצרו ואיזו תשובה הם צפויים לקבל, והדרך שבה
המידע נחתך ונותח, או עבר p-האקינג, ייצרו את הממצא השגוי.
עכשיו, רוב המדענים אינם עושים p-האקינג בזדון, 
ישנן החלטות לגיטימיות
לקבל לגבי איך לאסוף, לנתח ולדווח מידע, והחלטות אלה משפיעות

German: 
Partikelphysik stellt besonders strenge Anforderungen für statistische Signifikanz, genannt "5-Sigma" oder
eine Chance von 1 zu 3.5 Millionen, ein falsch-positives Ergebnis zu erhalten.
Aber 2002 hat ein Japanisches Experiment Beweise für das Theta-Plus Pentaquark gefunden, und in den
zwei darauffolgenden Jahren haben 11 andere unabhängige Experimente nach Beweisen für dasselbe
Pentaquark gesucht und gefunden, und das mit sehr hohen Signifikanzwerten.
Von Juli 2003 bis Mai 2004 wurde durschnittlich jeden zweiten Tag ein theoretischer Artikel über Pentaquarks
veröffentlicht. Aber schlussendlich war es eine falsche Entdeckung. Weitere experimentelle Versuche, das
Theta-Plus Pentaquark mit einer höheren Teststärke zu bestätigen fanden keine Spur seiner Existenz.
Das Problem war: diese ersten Wissenschaftler waren nicht blind gegenüber den Daten; sie wussten, wie
die Zahlen generiert wurden und welche Antwort sie erwarteten. Und die Art und Weise, wie die Daten
aufgeteilt und analysiert - oder eben "p-hacked" - wurden, produzierte den falschen Befund.
Nun, die meisten Wissenschaftler "p-hacken" nicht aus Arglist, und es werden legitime Entscheidungen
getroffen darüber wie man die Daten sammelt, analysiert und berichtet, und diese Entscheidungen

Chinese: 
粒子物理学使用了特别严格的统计显著性
称为 5-sigma，来获得获得 350 万分之一的假阳性
但 2002 年一个在日本的实验找到了
Theta-plus 五夸克，并在两年内
由 11 个独立的实验
共同找到了该五夸克存在的证据
并具有非常高的统计学显著性。
从 2003 年7 月到2004 年 5 月，平均每隔一天都有一篇
关于五夸克的理论论文发表
直到最后，这个发现被证实只是假阳性：
在一个试图使用更大统计功效来证明五夸克的实验中，却没有找到任何其存在的痕迹。
问题出在前面那些科学家
并不是无目的地在生成的数据中寻找结果
他们已经知道数据是怎么生成的，
以及自己在找怎样的答案，
以至于数据被有意识地剪切和分析，
或者被 p-hack，乃至产生了错误的发现
大部分科学家并不是恶意 p-hack 研究结果的，
而且关于数据收集分析报告的决策也受实际情况所限

Italian: 
La fisica particellare adotta una richiesta particolarmente rigida sulla
significatività statistica, nota come 5-sigma: una possibilità su 3.5 milioni di avere
un falso positivo, ma nel 2002 un esperimento giapponese scoprì evidenza
del pentaquark theta-più e, nei due anni successivi, 
altri 11 esperimenti indipendenti
cercarono e trovarono evidenza dello stesso pentaquark
con livelli di confidenza statistica molto alti. 
Dal Luglio del 2003 fino
a Maggio del 2004 venne pubblicato, in media, un articolo teorico sui pentaquark
per ogni singolo giorno, ma ahimè, era una scoperta falsa, dato che tentativi
sperimentali di confermare il pentaquark theta-più usando un potere statistico maggiore
non riuscirono a trovare tracce della sua esistenza.
Il problema era che i primi scienziati non erano ciechi davanti ai dati, sapevano
in che modo i numeri erano generati e sapevano che risposta aspettarsi da essi,
ed il modo in cui i dati furono maneggiati e analizzati, o p-hacked, produsse la falsa scoperta.
Questo non vuol dire che la maggior parte degli scienziati pratichi il p-hacking intenzionalmente, esistono decisioni legittime
da prendere sul modo di raccogliere, analizzare e presentare i dati e tali decisioni influiscono

Spanish: 
Los físicos de partículas emplean requerimientos particularmente rigurosos para la significancia
estadística referida como 5-sigma o una probabilidad en 3.5 millones de obtener
un falso positivo, pero en 2002 un experimento japonés encontró evidencia de un
theta-plus pentaquark, y en los dos años que siguieron otros 11 experimentos
independientes buscaron y encontraron evidencia del mismo pentaquark con
niveles muy altos de significancia estadística. Desde julio de 2003 hasta
mayo de 2004 un artículo teórico sobre los pentaquarks fue publicado, en promedio, cada
dos días, pero ¡ay!, fue un descubrimiento falso ya que los intentos
experimentales de confirmar el pentaquark theta-plus usando mayor poder
estadístico fallaron al encontrar cualquier rastro de su existencia.
El problema fue que esos primeros científicos no fueron cegados ante los datos, sabían cómo
se generaban los números y qué respuesta esperaban encontrar, y la manera
en que los datos fueron seccionados y analizados, o p-hackeados, produciendo el hallazgo falso.
La mayoría de científicos no están hackeando p maliciosamente, existen decisiones legítimas que se deben
hacer sobre la recolección, análisis y reporte de datos, y estas decisiones impactan

Portuguese: 
A física de partículas emprega requisitos particularmente  rigorosos para a significância
estatística referidos como 5-sigma ou uma chance em 3,5 milhões de se obter um
falso positivo, mas em 2002 um experimento japonês encontrou evidencias para o
pentaquark theta-plus, e nos dois anos seguintes 11 outros experimentos
independentes procuraram e encontraram evidência do mesmo pentaquark com
altos níveis de significância estatística. De Julho de 2003 a
maio de 2004 um artigo teórico sobre pentaquarks foi publicado em média todo
dia. Mas, infelizmente, era uma descoberta falsa pois suas tentativas
experimentais para confirmar o pentaquark theta-plus utilizando potência
estatística mais alta falharam em encontrar qualquer traço de sua existência.
O problema foi que aqueles primeiros cientistas não estavam cegos para os dados, eles sabiam como
os números eram gerados e que resposta esperavam conseguir, e a forma
como os dados eram cortados e analisados, ou "p-hacked", produziram descobertas falsas.
Agora a maior parte dos cientistas não estão fazendo p-hacking maliciosamente, há decisões legítimas a serem
feitas sobre como coletar, analisar e relatar os dados, e essas decisões impactam

Czech: 
Částicový fyzici používají přísné statistické požadavky na statistickou
významnost označovanou jako 5-sigma nebo možnost 1 z 3,5 milionu získání
falešně pozitivního výsledku. Ale v roce 2002 japonský experimenty objevil důkaz existence
Theta-plus pentakvarku a po další dva roky 11 nezávislých
experimentů hledalo a našlo důkaz pro tento stejný pentakvark
s velmi vysokou hladinou statistické významnosti. Od července 2003 do
května 2004 byly práce o pentakvarku publikovány průměrně
každý druhý den. Ale běda, bylo to falešný objev. Další pokusy
o potvrzení pentakvarku za použití větší statistické významnosti
selhaly v nalezení nějakých stop po něm.
Problém byl, že vědci při prvním pokusu nebyli slepí vůči měřeným datům a věděli,
jak byla data generována a jaké odpovědi mají očekávat. Způsob jakým
data třídili a analyzovali, nebo p-hackovali, vyprodukoval falešný objev.
Většina vědců nedělá p-hacking záměrně, jsou to legitimní rozhodnutí
o tom, jak sbírat data, analyzovat a vykazovat. Tato rozhodnutí ovlivňují

Portuguese: 
A física de partículas  emprega requisitos particularmente restritivos para significância estatística.
Há uma chance de 5σ,
ou 1 em 3.5 milhões de obter um falso positivo.
Mas em 2002, um experimento japonês encontrou evidencia para a existência do 'θ+ Pentaquark',
e nos dois anos seguintes, 11 outros experimentos independentes procuraram e encontraram evidências para o mesmo 'Pentaquark' com altos níveis de significância estatística.
De Júlio de 2003 a Maio de 2004, 1 artigo teórico na área dos Pentaquarks  foi publicado em média a cada dois dias.
Mas no final, foi uma descoberta falsa.
Pois todas as tentativas experimentais de confirmar a existência do 'θ+ Pentaquark'
usando maior poder estatístico
não encontraram qualquer traço de sua existência.
O problema é que aqueles primeiros cientistas sabiam como os números eram gerados e conheciam os resultados que esperavam encontrar.
E a forma como os dados foram cortados, analisados ou sofreram P-Hack
produziram a descoberta falsa.
Mas a maioria dos cientistas não estão usando o P-Hack de forma maliciosa,
há decisões legítimas para fazer sobre como coletar, analisar e reportar dados

iw: 
על החשיבות הסטטיסטית של תוצאות. למשל, 29 קבוצות
מחקר שונות קיבלו את אותו מידע ונתבקשו לקבוע 
אם קיימת סבירות גבוהה יותר
לשחקני כדורגל כהי עור לקבל כרטיס אדום; 
על ידי שימוש באותם נתונים
מספר קבוצות מצאו שאין השפעה משמעותית בעוד אחרים
הסיקו ששחקנים כהי-עור היו בסבירות של פי 3 לקבל כרטיס אדום.
הנקודה היא שמידע לא מדבר בעד עצמו, הוא חייב לעבור פרשנות.
כשמסתכלים על התוצאות האלה
נראה ששחקנים כהי עור בסבירות גבוהה יותר
 לקבל כרטיס אדום אבל
בודאי לא פי 3; קונצנזוס עוזר במקרה הזה אבל
לגבי מרבית התוצאות רק קבוצת מחקר אחת
 מספקת את הניתוח וכאן מונחת
הבעיה של תמריצים: 
למדענים יש תמריצים עצומים לפרסם מאמרים,
למעשה הקריירות שלהם תלויות בכך; 
כפי שמדען אחד, בריאן נוסק, מנסח
"אין מחיר ללעשות דברים באופן שגוי, המחיר הוא 
בלגרום לכך שלא יפורסמו".
הרבה יותר סביר שירחונים יפרסמו
תוצאות שמגיעות לרף של מובהקות סטטיסטית 
כך שאם השיטה של ניתוח
מידע מביאה לערך-p קטן מ-05., 
מתקבל על הדעת שתשתמש

Portuguese: 
e essas decisões impactam na significância estatística dos resultados.
Por exemplo: 29 diferentes grupos de pesquisa receberam os mesmos dados e foram requisitados
para determinar se jogadores de futebol com a pele escura são mais propensos a receber cartões vermelhos.
Usando dados idênticos, alguns grupos descobriram que não há efeito significativo,
enquanto outros concluíram que jogadores com pele escura são três vezes mais propensos a receber um cartão vermelho.
O ponto é que os dados não falam por si próprios.
Eles devem ser interpretados.
Olhando aqueles resultados, parece que jogadores de pele escura são mais propensos a receber cartões vermelhos,
mas certamente não três vezes mais propensos.
O consenso ajuda nesse caso, mas para a maioria dos resultados,
apenas um grupo de pesquisa faz a análise, e é aí que mora o problema dos incentivos.
Os cientistas têm incentivos enormes para publicar seus artigos.
Na verdade, suas carreiras dependem disso.
Como um cientista, Brian Nosek diz,
"Não há nenhum problema em errar. O problema é não poder publicar os erros."
As revistas são muito mais propensas a publicar resultados com significância estatística,
então se um método de análise de dados  resulta um um valor de P menos que 0.05,
você provavelmente vai escolher esse método.

Spanish: 
la significancia estadística de los resultados. Por ejemplo, a 29 grupos de
investigación distintos se les entregó los mismos datos y se les pidió determinar si  los jugadores de fútbol
de piel oscura eran más susceptibles de recibir tarjetas rojas; usando datos idénticos
algunos grupos encontraron que no había efecto significativo, mientras que otros
concluyeron que los jugadores de piel oscura tenían el triple de probabilidades de recibir una tarjeta roja
El punto es que los datos no hablan por sí mismos, deben ser interpretados.
Mirando estos resultados
pareciera que los jugadores de piel oscura tienen más probabilidades de recibir tarjetas rojas, pero
ciertamente no el triple de posibilidades; el consenso ayuda en este caso pero
para la mayoría de resultados, sólo un grupo de investigación provee el análisis y ahí entra
el problema de los incentivos: los científicos tienen enormes incentivos para publicar artículos
de hecho, sus carreras dependen de ello, como lo dijo el científico británico Brian Nosek:
"No hay ningún costo en equivocarse, el costo está en no publicarlo".
Es muchos más probable que las revistas científicas publiquen
resultados que son estadísticamente significativos, así que si un método de análisis
de datos resulta en un valor de p menor a .05 es más probable que uses

German: 
beeinflussen die statistische Signifikanz von Ergebnissen. Zum Beispiel hat man 29 verschiedenen
Forschungsgruppen dieselben Daten gegeben und sie dann beauftragt, festzustellen, ob dunkelhäutige
Fussballspieler mit höherer Wahrscheinlichkeit rote Karten erhalten. Mit identischen Daten fanden manche
Gruppen keinen signifikanten Zusammenhang, während andere zum Ergebnis kamen, dass dunkelhäutige Spieler
mit drei mal so hoher Wahrscheinlichkeit rote Karten erhalten. Der Punkt ist, dass die Daten nicht für sich
selber sprechen, sondern interpretiert werden müssen. Schaut man sich diese Ergebnisse an
scheint es dass dunkelhäutige Spieler wahrscheinlicher rote Karten erhalten, aber sicherlich nicht dreifach.
Konsens hilft in diesem Fall, aber bei den meisten Ergebnissen liefert nur eine Gruppe die Analyse und
darin liegt das Problem des Anreizes: Wissenschafter haben enorme Anreize, Artikel zu publizieren.
In der Tat sind ihre Karrieren darauf angewiesen. Wie es ein Wissenschaftler, Brian Nosek, formuliert:
"Es kostet nichts, Falsches festzustellen. Es kostet, es nicht zu veröffentlichen"
Journale veröffentlichen Artikel mit viel grösserer Wahrscheinlichkeit, wenn sie statistische Signifikanz
erreichen. Wenn also eine Methode, Daten zu sammeln, einen p-Wert von weniger als .05 liefert, dann entscheidet

Italian: 
sulla significatività statistica dei risultati. 
Ad esempio, a 29 diversi gruppi di ricerca
sono stati dati gli stessi dati ed è stato chiesto di stabilire se i calciatori di colore
vengono espulsi con maggiore probabilità; 
usando gli stessi dati,
alcuni gruppi stabilirono che non c'era nessun effetto significativo,
mentre altri conclusero che i giocatori di colore avevano una probabilità tre volte maggiore di essere espulsi.
Il punto è che i dati non parlano da sé,
 devono essere interpretati.
Guardando a questi risultati,
sembrerebbe che i giocatori di colore siano espulsi con una probabilità maggiore,
ma certamente non di un fattore tre. 
Il consenso è di aiuto, in casi come questo,
ma per la maggior parte dei risultati solo un gruppo fornisce un'analisi ed è lì che si nasconde.
il problema degli INCENTIVI (maiuscolo mio): 
gli scienziati hanno incentivi enormi a pubblicare articoli,
di fatto le loro carriere dipendono da questo;
come uno scienziato, Brian Nosek, si è espresso:
"Non esiste un costo per gli errori; 
il costo sta nel non pubblicarli"
I giornali pubblicheranno molto più verosimilmente
dei risultati che hanno significatività statistica, 
perciò se un metodo
di analisi dei dati ha un p-valore minore di 0.05, è probabile che si scelga di seguirlo;

Czech: 
statistickou významnost výsledku. Například, 29 různých
vědeckých skupin dostalo stejná data a měli rozhodnout, jestli tmaví hráči
amerického fotbalu dostávají červené karty s větší pravděpodobností. Za použití stejných dat
některé skupiny zjistily, že tomu tak není, jiné týmy
došli k závěru, že hráči tmavé pleti dostávají červené karty s třikrát větší pravděpodobností.
Jde o to, že data nemluví za sebe, musí být interpretována.
Když se podíváme na výsledky
Tak se zdá, že hráči s tmavou pletí dostávají červené karty častěji, ale
určitě ne třikrát častěji. V tomto případě pomohl konsensus.
Většina výsledků je produkována jedním týmem. V tom spočívá problém.
Motivace. Vědci mají velkou motivaci publikovat věděcké články
Jejich kariéra je na tom závislá. Jak poznamenal vědec Brian Nosek:
"Publikovat chyby nestojí nic, nepublikovat stojí hodně"
Vědecké časopisy zveřejňují radši
výsledky, které dosáhly statistické významnosti. Takže když metoda analýzy dat
dává výsledek p-hodnoty menší než 0,05, tak to je v pořádku

Chinese: 
这些决策最后会影响结果的显著性
在一个实验中，29 个不同的研究小组收到了同样的一批数据
并被要求判定是否黑皮肤球员有更大可能被罚红牌
使用完全相同的数据，
有一些小组发现并没有显著影响
而另一些小组得到的结论是黑皮肤球员被罚红牌的可能性高达三倍
所以说，数据并不会为自己说话，只有人才能诠释数据
看看那些结果
看起来好像黑皮肤球员更可能被罚红牌
但当然没有三倍这么夸张。
在此例中，我们能从多个研究组的结论中获得一定共识，
但是大多数研究中，只有一个研究组提供数据的分析，
这里就涉及到了激励问题
科学家们有很大的动力来发表论文，
事实上，他们的职业生涯依赖于它
正如一位科学家 Brian Nosek 所说：
“发表错误的研究是不需付出代价的，
但是研究不被发表的代价却很大”
科研期刊更喜欢发表达到统计显著性的研究结果
因此，如果一种数据分析的方法更容易产生
小于 0.05 的 p 值，那么你会更可能使用那样的方法

English: 
on the statistical significance of
results. For example, 29 different
research groups were given the same data
and asked to determine if dark-skinned
soccer players are more likely to be
given red cards; using identical data
some groups found there was no
significant effect while others
concluded dark-skinned players were
three times as likely to receive a red card.
The point is that data doesn't speak for
itself, it must be interpreted.
Looking at those results
it seems that dark skinned players are
more likely to get red carded but
certainly not three times as likely;
consensus helps in this case but
for most results only one research group
provides the analysis and therein lies
the problem of incentives: scientists
have huge incentives to publish papers,
in fact their careers depend on it; as
one scientist Brian Nosek puts it:
"There is no cost to getting things wrong,
the cost is not getting them published".
Journals are far more likely to publish
results that reach statistical
significance so if a method of data
analysis results in a p-value less than
.05 then you're likely to go with

Korean: 
어떤 영향을 끼치기 때문에 이런 일이 발생하는거죠.
예를 들어, 29개의 서로 다른 연구 그룹에
똑같은 데이터를 주고, 어두운 색의 피부를 가진 축구
선수가 레드 카드를 받을 확률이 더 높은지를
확인/결정지으라는 질문을 했어요.
동일한 데이터를 통해,
어떤 그룹은 피부색이 중대한 역할을
하는 바가 없다고 했던 반면에,
어떤 그룹에서는 어두운 피부색을 가진 선수가
레드 카드를 받을 확률이 3배정도 높다고 결론지었었죠.
요점은 데이터가 스스로 말하지 않는다는
점이에요. 해석되어야하는거죠.
결과치를 보고 있으면,
어두운 피부색을 가진 선수가 레드 카드를
받을 확률이 높은 것처럼 보일 수는 있겠지만,
분명 세배 정도까지는 아닐거에요.
의견을 일치시키는게 이 경우에는 도움이 되겠지만,
대부분의 결과는 하나의 연구 그룹에서
분석치를 제공해요. 그리고 그 안에
장려금의 문제가 있어요. 과학자들은
논문을 출간할 때 엄청난 장려금을 받아요.
사실 거기에 경력이 좌지우지되죠.
Brian Nosek이라는 과학자가 이에 대해
말한 바가 있는데,
"틀린 것에 대한 비용은 없다.
출간되지 않는 것 자체가 비용이다."
저널들은 통계적 유의성에
일치하는 결과물을
출간할 가능성이 더 높아요.
그러니 데이터 분석 방식의
p-값이 0.05보다 낮았다면,
그 방식으로 가도 괜찮을거에요.

Portuguese: 
a significância estatística dos resultados. Por exemplo, 29 grupos
de pesquisa diferentes receberam os mesmos dados e pediu-se que determinassem se jogadores de futebol
de pele escura são mais prováveis de receberem cartões vermelhos; usando os mesmos dados
alguns grupos descobriram que não havia efeito significativo enquanto outros
concluíram que jogadores de pele escura eram três vezes mais prováveis de receber cartão vermelho.
A questão é que os dados não falam por si, precisam ser interpretados.
Olhando para os resultados
parece que jogadores de pele escura são mais prováveis de receber cartão vermelho, mas
certamente não três vezes mais prováveis; consenso ajuda nesse caso, mas
para a maior parte dos resultados apenas um grupo de pesquisa fornece a análise e aí está
o problema dos incentivos: cientistas têm incentivos gigantescos para publicar artigos.
De fato, suas carreiras dependem disso; como disse um cientista, Brian Nosek:
"Não há custo algum em ter resultados errados, o custo está em não tê-los publicados".
Periódicos são muito mais suscetíveis a publicar
resultados que alcançam significância estatística. Então se um método de análise
dos dados resulta em um valor-p menor que 0,05, então você provavelmente irá utilizar

Italian: 
la pubblicazione è anche più probabile se il risultato è insolito e
inatteso, il che incoraggia i ricercatori a investigare ipotesi sempre più improbabili,
il che decresce ulteriormente il rapporto fra correlazioni vere e false
che vengono verificate; 
e per quanto riguarda  la riproducibilità ?
Non si suppone che la scienza
si auto-corregga attraverso il lavoro di scienziati che riproducono i risultati di un'iniziale scoperta ?
In teoria sì, ma in pratica è più complicato. Si consideri
l'esperimento di precognizione all'inizio di questo video: tre ricercatori hanno tentato
di replicare uno di questi esperimenti 
e...cosa hanno scoperto ?
Sorpresa sorpresa, il tasso di successo che hanno ottenuto non era significativamente diverso dalla pura casualità.
Quando hanno tentato di pubblicare il loro risultato sullo stesso giornale del lavoro originale,
l'articolo è stato rigettato. Il motivo ? Il giornale rifiuta di
pubblicare studi replica. Perciò, se siete scienziati, la strategia per avere successo è
chiara: non dedicatevi a studi replica,
perché pochi giornali
li pubblicano, e ci son buone probabilità che comunque i vostri risultati non saranno
statisticamente significativi, nel qual caso, invece di riuscire a convincere

German: 
man sich wahrscheinlich für diese Methode. Eine Veröffentlichung ist auch dann wahrscheinlicher wenn
das Ergebnis neuartig und unerwartet ist. Dies ermutigt Forscher immer unwahrscheinlicheren Hypothesen
nachzugehen, was das Verhältnis zwischen den untersuchten wahren und falschen Zusammenhängen
weiter vergrössert. Was ist nun mit Replizierung? Korrigiert sich Wissenschaft nicht laufend selbst, indem
andere Wissenschaftler ursprüngliche Ergebnisse replizieren? Theoretisch ja, aber in der Praxis ist es etwas
komplizierter. Nehmen wir zum Beispiel die Vorausahnungs-Studie vom Anfang dieses Videos.
Drei Wissenschaftler versuchten, die Ergebnisse dieses Experimentes zu replizieren, und was fanden sie?
Keine Überraschung: die festgestellte Trefferquote liess sich nicht signifikant von Glück unterscheiden.
Als sie versuchten, die Ergebnisse im selben Journal zu veröffentlichen, wie der ursprüngliche Artikel,
wurden sie abgelehnt. Der Grund? Das Journal weigert sich, Replikations-Studien zu veröffentlichen.
Bist du also ein Wissenschaftler, ist die Erfolgsstrategie offensichtlich: Versuch gar nicht erst,
Replikationsstudien zu machen, denn nur wenige Journale werden sie veröffentlichen.
Und es ist gut möglich, dass deine Ergebnisse ohnehin keine statistische Signifikanz aufweisen werden.

Czech: 
Vydavatelé jsou také radši, když jsou výsledky nové
a neočekávaní. To podporuje výzkumníky zkoumat více a více nepravděpodobné
hypotézy, které pak snižují poměr mezi správným a chybným testovaným vztahem
A co opakované pokusy? Neměla by se věda
sama opravovat díky vědcům, kteří opakují pokusy původního objevu?
Teoreticky ano, ale v praxi je to složitější.
Jako ta studie o předvídání za začátku videa. Tři vědci se pokusili
provést znovu tento pokus a co zjistili?
Velké překvapení, úspěšnost trefy nebyla významně rozdílná od náhody.
Když se pokusili publikovat svůj objev ve stejném časopise
ve kterém vyšel původní článek, byli odmítnuti. Důvod? Časopis odmítl
publikovat replikační studie. Takže pokud jste vědec, úspěšná strategie je jasná
a ani nezkoušejte replikační studie, protože jen málo časopisů je zveřejní
a je velká šance, že vaše výsledky nebudou
statisticky významné. Takže namísto, abyste

iw: 
בשיטה הזו. פרסום צפוי עוד יותר אם התוצאה היא חדשה
ולא צפויה. דבר זה מעודד חוקרים לחקור השערות יותר ויותר
לא סבירות מה שמוריד עוד יותר את היחס שבין 
קשרים אמיתיים למלאכותיים
שנבחנים. עכשיו, מה לגבי שחזור? האם מדע לא אמור
לבצע תיקון-עצמי על ידי שחזור הממצאים
של התגלית המקורית
על ידי חוקרים אחרים? בתיאוריה כן, אבל למעשה זה יותר מורכב. קחו למשל
את המחקר על תפיסה מוקדמת מתחילת הוידאו: 3 חוקרים ניסו
לשכפל את אחד הניסויים האלה ומה הם מצאו?
ובכן, הפתעה הפתעה - יחס הפגיעה שהשיגו 
לא היה שונה באופן מובהק
ממקרי. כשהם ניסו לפרסם את הממצאים שלהם באותו ירחון
שבו פורסם המאמר המקורי הם נדחו. 
הסיבה? הירחון מסרב
לפרסם מחקרי שחזור. 
אז אם אתה מדען האסטרטגיה המוצלחת
ברורה - אל תנסה אפילו לבצע מחקרי שיחזור
מכיוון שירחונים מעטים
יפרסמו אותם ויש סיכוי טוב מאוד שהתוצאות שלך לא
תהיינה מובהקות סטטיסטית בכל אופן
כך שבמקום להיות מסוגלים

English: 
that method, publication's also more
likely if the result is novel and
unexpected, this encourages researchers
to investigate more and more unlikely
hypotheses which further decreases the
ratio of true to spurious relationships
that are tested; now what about
replication? Isn't science meant to
self-correct by having other scientists
replicate the findings of an initial
discovery? In theory yes but in practice
it's more complicated, like take the
precognition study from the start of
this video: three researchers attempted
to replicate one of those experiments,
and what did they find?
well, surprise surprise, the hit rate they
obtained was not significantly different
from chance. When they tried to publish
their findings in the same journal as
the original paper they were rejected.
The reason? The journal refuses to
publish replication studies. So if you're
a scientist the successful strategy is
clear and don't even attempt replication
studies because few journals will
publish them, and there is a very good
chance that your results won't be
statistically significant any way in
which case instead of being able to

Chinese: 
出版商也更喜欢发布新颖和出乎意料的结果
这鼓励了研究人员去研究愈来愈离谱的假设
以至于进一步减少了检验真伪相关可能性的比例
那么“重现”呢？科学的进程不就是通过让其他科学家重现初始的结果来自我修正错误吗？
理论上没错，但在实践中就复杂多了，
举前面的预知实验为例
三个科学家尝试过重现这些实验，他们发现什么？
好吧，不出意料，他们得到的结果是
猜准的命中率和乱猜并没有显著区别。
但当他们试图将自己的研究结果
发表在原始论文的同一个期刊上时
这些论文却被拒绝了，期刊不想发表重现的研究
所以，如果你是一个科学家，那么成功的策略很清楚
根本不要试图重现别人的研究，
因为很少期刊会愿意试图发布这些
而且反正很大可能你的结果并不会像原论文一样达到统计学显著，

Portuguese: 
esse método, a publicação também é mais provável se o resultado é original e
inesperado. Isso encoraja os pesquisadores a investigar hipóteses mais e mais
improváveis o que diminui ainda mais a razão de relações verdadeiras para espúrias
que são testadas. Mas e quanto à replicação? A ciência não deve
autocorrigir-se através de outros cientistas replicando os achados da descoberta
inicial? Em teoria sim, mas na prática é mais complicado. Por exemplo, Pegue o
estudo de pré-cognição do princípio desse vídeo: três pesquisadores tentaram
replicar um daqueles experimentos. E o que encontraram?
Bem, surpresa, surpresa, a taxa de acertos que obtiveram não foi significativamente diferente
do acaso. Quando eles tentaram publicar suas descobertas no mesmo periódicos que
o artigo original eles foram rejeitados. O motivo? O periódico recusou-se a
publicar estudos de replicação. Então se você é um cientista a estratégia de sucesso é
clara e nem tente estudos de replicação porque poucos periódicos irão
publicá-los, e há uma boa chance de que os seus resultados não serão
estatisticamente significativos de qualquer forma e nesse caso ao invés de ser capaz de

Korean: 
출판은 결과가 새롭거나 예상치 못한
것일수록 가능성이 더 올라갈거에요.
이를 통해 더 많은 연구자들이 사실일 것
같지 않은 가설들을 더 조사하게 되고,
그로 인해 진실된 결과의 비율이 더 줄어들고,
겉으로만 그럴듯한 연관성들이 시험되는거죠.
그럼 반복 실험은 어떨까요?
과학이라는 것이 본디
다른 과학자가 초기의 발견한 것들을
반복함으로써 스스로 수정하는 것이 아닌걸까요?
이론적으로는 맞지만, 현실적으로는
좀 더 복잡해져요. 이 영상 초기에 나온
예지 연구를 예로 들어보죠.
세명의 연구자들이 이 실험들 중 하나를
반복 실험하려했었어요. 그리고나서
그들이 뭘 발견했을 것 같아요?
음, 제법 놀랍지만, 그들이 얻어냈던
맞춰낼 확률도 크게 다르지 않았어요.
그들이 초기 논문을 실었던 같은 저널에
연구 결과를 출간하려했으나
거절당했었죠. 이유가 뭐냐고요?
그 저널은 반복 연구에 대한 내용을
출판하기를 거절했어요. 그러니 당신이
과학자라면, 성공적인 전략이 명확히 나타나요.
반복 실험을 할 생각조차 하지마세요.
왜냐하면 그걸 출간해줄 저널이 몇 없을테니까요.
그리고 당신의 결과치가 어찌되었건
통계적 유의성을 갖지 않을
가능성도 있어요. 그럴 때에는

Portuguese: 
A publicação também é mais provável se  o resultado for uma novidade ou inesperado,
isso encoraja que pesquisadores investiguem hipóteses mais e mais improváveis,
diminuindo ainda mais a proporção de relações verdadeiras para falsas que são testadas.
Mas e quanto à replicação de resultados?
A ciência não deveria se autocorrigir através de outros cientistas replicando as descobertas anteriores?
Na teoria sim, mas na prática é mais complicado.
Considere o estudo de pré cognição do início desse vídeo.
Três pesquisadores tentaram reproduzir um daqueles experimentos, e o que eles encontraram?
Quem diria! A taxa de acerto que eles obtiveram não era estatisticamente diferente de sorte.
E quando eles tentaram publicar seus resultados na mesma revista que o estudo original,
eles foram rejeitados.
A razão? O jornal não publica estudos de replicação.
Então se você é um cientista, a estratégia mais bem sucedida é clara:
nem tente estudos de replicação pois poucas revistas os publicarão.
E há uma boa chance de que seus resultados nem serão estatisticamente significantes pra começar.

Spanish: 
ese método, además la publicación es más probable si el resultado es novedoso e
inesperado, esto fomenta que los científicos investiguen hipótesis muy poco
probables lo que disminuye la proporción de relaciones verdaderas-a-falsas
investigadas: ahora ¿qué hay de la replicabilidad? ¿no se supone que la ciencia se
auto-corrige al tener otros científicos replicando los hallazgos de un descubrimiento
inicial? En teoría sí, pero en la práctica es más complicado, tomemos el
ejemplo del estudio de pre-cognición del inicio del video: tres investigadores intentaron
replicar uno de esos experimentos ¿y qué encontraron?
bueno, sorpresa sorpresa, la tasa de aciertos que obtuvieron no era significativamente diferente
al azar. Cuando trataron de publicar sus hallazgos en la misma revista científica que
el artículo original fueron rechazados. ¿La razón? Las revistas científicas se niegan a
publicar estudios replicados. Entonces, si eres un científico la estrategia exitosa es
clara: ni siquiera intentes estudios de replicabilidad porque muy pocas revistas
los publicarán, y hay una probabilidad muy alta de que tus resultados no sean
estadísticamente significativos de todas maneras, en cuyo caso en lugar de poder

iw: 
לשכנע עמיתים באשר לחוסר היכולת לשחזר אפקט אתה
תואשם בכך שלא עשית את זה נכון.
אז גישה טובה בהרבה 
היא לבחון השערות חדשות ולא צפויות ואז
לפרוץ עם p-האקינג את דרכך לתוצאה-מובהקת סטטיסטית.
עכשיו, אני לא רוצה
להיות יותר מדי ציני לגבי זה
כי בעשר השנים האחרונות דברים התחילו
להשתנות לטובה.
הרבה מדענים מכירים בבעיות שהדגשתי
ומתחילים
לעשות צעדים כדי לתקן אותם. 
יש יותר מחקרי שחזור רחבי-היקף
שבוצעו ב-10 השנים האחרונות
וגם יש אתר, Retraction Watch
שמוקדש לפרסום מאמרים שנסוגו מהם.
יש מאגרים מקוונים
עבור תוצאות שליליות שלא זכו לפרסום
ויש תנועה לעבר
הגשת השערות ושיטות לביקורת עמיתים לפני עריכת
ניסויים, עם ההבטחה שמחקר יפורסם ללא קשר
לתוצאות כל עוד ההליך הזה מתקיים.
זה מבטל
הטיית-פרסום, מעודד מחקרים בעלי כח (סטטיסטי) רב יותר
ומפחית את התמריץ ל-p-האקינג.
הדבר הבולט ביותר בעיניי
למשבר היכולת לשחזר במדע אינו

Portuguese: 
Neste caso, em vez de conseguir convencer seus colegas da falta de reprodutividade de um efeito,
você será acusado de não ter feito direito.
Então a melhor estratégia é testar hipóteses novas e inesperadas
e depois usar o P-Hacking para alcançar um resultado significativo
Eu não quero ser muito cínico sobre isso, pois nos últimos 10 anos, as coisas tem começado a mudar para o melhor.
Muitos cientistas reconhecem os problemas que eu citei e estão começando a tomar atitudes para corrigi-los.
Há mais estudos grandes de replicação sendo conduzidos nos últimos 10 anos,
e há um site, "Retraction Watch", dedicado a publicar artigos que deram resultados negativos.
Há repositórios online para resultados negativos não publicados,
e há uma movimentação no sentido de submeter hipóteses para avaliação de colegas antes dos experimentos
com a garantia de que a pesquisa será publicada independente dos resultados
desde que os procedimentos sejam corretamente seguidos.
Isto elimina publicação tendenciosas, promove resultados mais precisos,
e diminui o incentivo para o uso do P-hacking.
O que eu acho mais chocante sobre a crise de reprodutibilidade

Korean: 
어떤 현상의 재현성이 부족한걸 동료에게
납득시키기도 힘들뿐더러
단순히 똑바로 못하고 있는거라는
혐의를 받을 수도 있어요.
그러니 훨씬 나은 접근법은 새롭고 예상치
못할 가설을 시험하고, 방식을 p-hack해서
통계적으로 유의성을 갖는 결과로 만드는거죠.
저는 이걸 딱히 부정적으로 보고 싶진 않은데요,
왜냐하면 지난 10년 동안 많은 것들이
더 나아지고 있거든요.
많은 과학자들이 제가 앞서 말했던
문제들을 인정하고 그걸 고치기 위한
단계를 밟아나가고 있어요. 최근 10년
동안 진행되었던
수많은 큰 규모의 반복실험들이 있었고, 
Retraction Watch라는 사이트도 있는데,
철회된 논문들을 알리는 것에
특성화된 사이트에요.
부정적인 결과로 인해 출간되지 않은 것에 대한 온라인
저장도고 있고, 동업자의 평가를 통해
실험을 진행하기 전에 가설이나 방법을
제출하는 흐름도
생기고 있어요. 그로 인해 결과가 어떻든지
절차를 잘 따랐다면 연구가
출간되는 것을 보장하는거죠. 이를 통해
출간 편향을 없앨 수 있고,
연구를 더 많이 진행할 수 있으며
p-hacking에 대한 장려금도 낮출 수 있겠죠.
제가 과학에서 반복실험 문제에 대해
충격을 받았던 점은, 출판된 과학 저널에

Italian: 
i colleghi della non riproducibilità di un effetto,
sarete accusati di non procedere correttamente.
Per cui un approccio di gran lunga migliore è di verificare ipotesi interessanti e controintuitive
e fare p-hacking per ottenere risultati significativi. 
Ora, non intendo
essere troppo cinico su questo punto, perché negli ultimi 10 anni le cose hanno iniziato
a migliorare.
Molti scienziati riconoscono i problemi che ho delineato e stanno iniziando
a tentare di correggerli: 
ci sono più studi replica su larga scala
intrapresi negli ultimi 10 anni. 
Inoltre c'è un sito, Retraction Watch,
dedicato a pubblicizzare articoli che sono stati ritirati (dalla pubblicazione),
Ci sono archivi per risultati negativi non pubblicati 
e c'è una certa tendenza
a sottomettere le ipotesi da verificare e i metodi da utilizzare a un processo di pre-scrutinio da parte di altri colleghi,
prima di intraprendere esperimenti con la garanzia che la ricerca verrà pubblicata indipendentemente
dai risultati, purché la procedura stabilita venga seguita.
Ciò elimina il "pregiudizio da pubblicazione", incoraggia studi ben finanziati e riduce l'incentivo al p-hacking.
La cosa che trovo più sconcertante a proposito della crisi della riproducibilità nella scienza non è

Czech: 
přesvědčil kolegy, že jejich pokus a výsledek nelze opakovat, budete
obviněni, že to neděláte správně.
Mnohem lepší přístup je testovat nové a neočekávaní hypotézy a pak
je p-hackovat svým způsobem, aby dosáhly statisticky významného výsledku. Nechci být
příliš cynický, protože za posledních 10 let se věci
začaly měnit k lepšímu.
Mnoho vědců si je vědomo problémů, o kterých jsem mluvil a začalo podnikat
kroky k nápravě: je velké množství opakovaných studií,
které vznikly za posledních 10 let. Dokonce vznikla stránka: "Retraction Watch" (Sledování odvolaného),
která zveřejňuje studie, které byly staženy. Vznikly online
úložiště nepublikovaných negativních výsledků a existuje hnutí směřující k tomu,
aby se předkládaly hypotézy a postupy k ověření, před tím, než proběhne
vlastní experiment se zárukou, že výzkum bude zveřejněn bez ohledu na
výsledek, pokud bude postup dodržen. To sníží počet zkreslených publikací,
podpoří lepší publikace a sníží motivaci pro p-hacking.
To, co mě nejvíce zaráží na krizi replikačních studí ve vědě,

German: 
Anstatt Kollegen vom Mangel an Reproduzierbarkeit zu überzeugen, wirst du wahrscheinlich beschuldigt,
es einfach nicht richtig gemacht zu haben. Es ist also einiges besser, neuartige und unerwartete Hyptothesen
zu testen, und sich zu einem statistisch signifikanten Ergebniss zu "p-hacken".
Ich möchte nicht zu zynisch sein, denn in den letzten 10 Jahren haben sich die Dinge langsam zum besseren
gewendet. Viele Wissenschaftler anerkennen die Probleme, die ich beschrieben habe,
und es wurde damit begonnen, Massnahmen zu ergreifen, um sie zu korrigieren.
Es wurden in den letzten 10 Jahren mehr grossangelegte Replikationsstudien durchgeführt,
plus es gibt eine Website, "Retraction Watch", mit dem Ziel, Artikel zu publizieren, die zurückgezogen wurden.
Es gibt Online-Magazine für nicht-publizierte negative Ergebnisse und es gibt eine Tendenz, Hypothesen und
Methoden zuerst mittels peer-review überprüfen zu lassen, bevor man Experimente macht,
mit der Garantie, dass die Forschung danach publiziert wird, egal welche Ergebnisse gefunden werden,
solange die beschrieben Prozedur befolgt wird. Dies eliminiert den Publikationsdruck,
ermutigt Studien mit höherer Teststärke und reduziert den Anreiz für p-hacking.
Was ich besonders bemerkenswert an der Reproduzierbarkeits-Kriese in der Wissenschaft finde,

Chinese: 
而且还不一定能说服别人
这个效应没有可重复性，
还可能被责怪只是你自己的研究有问题
所以一个更好的方法是去测试新颖而出乎意料的假设，然后用一些 p-hack 的手段得到
统计学显著的结果。
我并不想对这种现象太过于愤世嫉俗，最近十年开始这个现象已经开始有所改善了
很多科学家承认了我上面说的问题，
并且开始试图纠正错误
这十年以来，科学家进行了很多大规模的重现研究
还有一个网站“Retraction Watch”，
致力于公开被撤回的论文
网上也有一些数据库专门记录无法被发表的证否结果
而且现在也有一个趋势，
在实验之前先将研究的假设和方法交由同行审议，
来保证研究一定会被发布，无论结果如何
只要研究按照流程进行就可以了。
这消除了为了发表论文产生的偏见
促进了更高功效的研究，减少了研究人员 p-hack 的动机

English: 
convince colleagues of the lack of
reproducibility of an effect you will be
accused of just not doing it right.
So a far better approach is to test
novel and unexpected hypotheses and then
p-hack your way to a statistically
significant result. Now I don't want to
be too cynical about this because over
the past 10 years things have started
changing for the better.
Many scientists acknowledge the problems
i've outlined and are starting to take
steps to correct them: there are more
large-scale replication studies
undertaken in the last 10 years, plus
there's a site, Retraction Watch,
dedicated to publicizing papers that
have been withdrawn, there are online
repositories for unpublished negative
results and there is a move towards
submitting hypotheses and methods for
peer review before conducting
experiments with the guarantee that
research will be published regardless of
results so long as the procedure is
followed. This eliminates publication
bias, promotes higher powered studies and
lessens the incentive for p-hacking.
The thing I find most striking about the
reproducibility crisis in science is not

Portuguese: 
convencer seus colegas da falta de reproducibilidade de um efeito você será
acusado de simplesmente não fazê-lo corretamente.
Então uma abordagem bem melhor é testar hipóteses novas e inesperadas e então
usar "p-hacking" para alcançar um resultado estatisticamente significativo. Agora eu não quero
ser muito cínico sobre isso porque nos últimos dez anos as coisas têm começado
a mudar para melhor.
Muitos cientistas reconhecem os problemas que esbocei e estão começando a trilhar
passos para corrigi-los: há mais estudos de replicação em grande escala
sendo realizados nos últimos 10 anos. Além do mais há um sítio, Retraction Watch,
dedicado a publicar artigos que foram retirados. Há repositórios
online para resultados negativos não publicados e um movimento em direção
à submissão de hipóteses e métodos para revisão por pares antes de conduzir
experimentos com a garantia de que a pesquisa será publicada independentemente dos
resultados contanto que o procedimento seja seguido. Isso elimina a influência
da publicação, promove estudos com maior força e diminui o incentivo para "p-hacking".
O que eu acho mais impressionante sobre a crise na reproducibilidade na ciência não é

Spanish: 
convencer a tus colegas de la falta de replicabilidad de un efecto, serás
acusado de no haberlo hecho bien.
Así que un mejor abordaje es probar hipótesis nuevas e inesperadas y entonces
p-hackear tu camino al resultado estadísticamente significativo. Ahora, no quiero ser
muy cínico acerca de esto porque en los últimos diez años las cosas han empezado
a cambiar para mejor.
Muchos científicos reconocen los problemas que he presentado y han empezado a tomar
pasos para corregirlos:hay más estudios de replicación a gran escala
realizados en los últimos diez años, además hay un sitio, Retraction Watch,
dedicado a difundir artículos que han sido retirados, hay repositorios
en línea para resultados negativos no publicados y hay un movimiento hacia
la envío de hipótesis y métodos para revisión de pares previo a la conducción de
experimentos con la garantía de que la investigación será publicada sin importar
el resultado, siempre y cuando se siga el procedimiento. Esto elimina el sesgo de
publicación, promueve estudios de alto poder y disminuye los incentivos para hackear p.
Lo que me resulta más sorprendente acerca de la crisis de replicabilidad en la ciencia no es

Italian: 
la prevalenza di informazione scorretta nei giornali scientifici pubblicati,
dopo tutto giungere alla verità, si sa, è difficile ed è matematicamente chiaro che non tutto ciò che è pubblicato
può essere corretto.
Ciò che mi colpisce è pensare che, anche facendo del nostro meglio per scoprire la verità,
usando i nostri metodi matematici più rigorosi e  sofisticati: peer review,
e le convenzioni standard sulle procedure, sbagliamo così spesso; perciò, quanto spesso
ci illudiamo, quando non usiamo il metodo scientifico ?
Per quanto possa essere imperfetta, la nostra scienza è di gran lunga il più affidabile modo di sapere
di cui disponiamo.
Questo episodio di Veritasium è stato sponsorizzato da queste brave
persone di Patreon e Audible.com, i fornitori principali di audiolibri in rete
con centinaia di migliaia di titoli in tutte le aree della letteratura, inclusi
romanzi, saggistica e periodici, Audible offre un periodo di prova gratis di 30 giorni
a chiunque guardi questo canale, andate su audible.com/veritasium in modo che sappiano che

English: 
the prevalence of incorrect information
in published scientific journals
after all getting to the truth we know is hard
and mathematically not everything that
is published can be correct.
What gets me is the thought that even
trying our best to figure out what's
true, using our most sophisticated and
rigorous mathematical tools: peer review,
and the standards of practice, we still
get it wrong so often; so how frequently
do we delude ourselves when we're not
using the scientific method? As flawed as
our science may be, it is far away more
reliable than any other way of knowing
that we have.
This episode of veritasium
was supported in part by these fine
people on Patreon and by Audible.com, the
leading provider of audiobooks online
with hundreds of thousands of titles in
all areas of literature including:
fiction, nonfiction and periodicals,
Audible offers a free 30-day trial to
anyone who watches this channel, just go
to audible.com/veritasium so they know

iw: 
השכיחות של מידע שגוי בירחונים מדעיים שיוצאים לאור.
אחרי הכל אנחנו יודעים שקשה להגיע לאמת
ומתמטית לא כל דבר
שמתפרסם יכול להיות נכון.
מה שמפריע לי היא המחשבה
שאפילו כשאנחנו עושים כמיטב יכולתנו לגלות
מה אמת, כשאנחנו משתמשים בכלים המתמטיים 
הכי מתוחכמים וקפדניים, ביקורת עמיתים
וסטנדרטים של פרקטיקה אנחנו עדיין טועים לעיתים קרובות כל כך; אז באיזו תדירות
אנחנו משלים את עצמנו כשאנחנו לא משתמשים בשיטה המדעית?
ככל שהמדע שלנו עשוי להיות מלא פגמים,
הוא מהימן לאין-שיעור יותר מכל דרך אחרת
לדעת שיש לנו.
פרק זה של וריטסיום נתמך בחלקו
על ידי האנשים הטובים האלה
ב-Patreon וב-Audible.com,
הספקים המובילים של ספרי-שמע מקוונים
עם מאות אלפי כותרים
בכל תחומי הספרות כולל
ספרות יפה, ספרי עיון וכתבי עת.
audible מציעה 30 יום נסיון
לכל מי שצופה בערוץ הזה, רק גשו
ל-audible.com/veritasium כך שיידעו

German: 
ist nicht das Überhandnehmen von inkorrekten Informationen in publizierten, wissenschaftlichen
Journalen. Denn letztendlich ist es schwierig, an die Wahrheit zu gelangen und mathematisch kann
nicht alles, was publiziert wird, auch korrekt sein.
Mich verblüfft folgendes: wir geben unser Bestes um heraus zu finden, was wahr ist,
mittels den ausgeklügelsten, rigorosesten mathematischen Werkzeugen, die wir haben:
Peer-Review und anerkannten Prozessen. Und dennoch liegen wir immernoch so oft falsch.
Wie oft also täuschen wir uns, wenn wir NICHT das wissenschaftliche Verfahren anwenden?
So fehlerhaft unsere Wissenschaft sein mag, sie ist bei Weitem zuverlässiger,
als jeder andere Weg, zu Wissen, den wir kennen.
Diese Folge von Veriatsium wurde zum Teil durch diese guten Leute auf Patreon unterstützt,
und durch Audible.com, dem führenden Anbieter von Online-Audiobüchern, mit hunderttausenden von
Titeln in allen Bereichen der Literatur, einschliesslich: Fiktion, Sachbüchern und Magazinen.
Audible bietet jedem Zuschauer dieses Channels ein kostenloses 30-Tage Versuchsabo an.
Geh einfach auf audible.com/veritasium damit sie wissen, dass ich dich vorbeigeschickt habe.

Czech: 
není přemíra nesprávných informací zveřejněných ve vědeckých časopisech.
Konec konců dobrat se pravdě je těžké a matematicky ne všechno,
co je publikováno, může být správně.
Co mě dostává, je myšlenka, že i přes naší nejlepší snahu zjistit pravdu,
za použití nejsložitějších přesných matematických nástrojů, odborné recenze
a standardy postupů, stále tolikrát chybujeme. Jak často
se potom klameme, když nepoužíváme věděcké metody? Věda může velmi chybovat,
ale stále je to zdaleka nejspolehlivější zdroj poznání,
který máme.
Tato epizoda Veritasium byla podpořena z části těmito skvělými
lidmi z Patreon a od Audible.com, přední poskytovatel on-line audioknih
se stovkami tisíc titulů ve všech oblastech, včetně literatury:
beletrie, literatura faktu a periodika. Audible nabízí zdarma na 30denní zkušební verzi
každému, kdo sleduje tento kanál, stačí jít na audible.com/veritasium, aby věděli,

Portuguese: 
a prevalência de informação incorreta nas publicações nos periódicos científicos.
Afinal de contas, chegar à verdade, como sabemos, é difícil e, matematicamente, nem tudo que
é publicado pode estar correto.
O que me incomoda é o pensamento de que mesmo nos esforçando ao máximo para deduzir o que é
verdade, usando nossas ferramentas matemáticas mais rigorosas e sofisticadas: revisão por pares
e práticas padrão, nós ainda erramos tantas vezes; então quão frequentemente
nos iludimos quando não estamos utilizando o método científico? Por mais falha que
nossa ciência possa ser, ela é muito mais confiável que qualquer outra forma de conhecimento
que nós temos.
Esse episódio de Veritasium foi apoiado em parte por essa gente fina
no Patreon e por Audible.com, o fornecedor líder de audiolivros online
com centenas de milhares de títulos em todas áreas da literatura inclusive:
ficção, não-ficção e periódicos, Audible oferece um teste grátis de 30 dias para
qualquer um que assiste a esse canal, basta ir até audible.com/veritasium para que saibam

Portuguese: 
na ciência não é a proeminência de informações incorretas em revistas científicas.
Afinal nós sabemos que chegar à verdade é difícil,
e matematicamente nem tudo o que é publicado pode estar correto.
O que me incomoda é que mesmo tentando o melhor que podemos para descobrir a verdade,
usando os mais sofisticados e rigorosos métodos matemáticos, revisão por pares e padrões de prática,
nós ainda erramos tão frequentemente!
Então quão frequentemente nós nos iludimos quando nós não estamos usando o método científico?
Mesmo nossa ciência sento tão cheia de falhas, ela é ainda assim muito mais confiável
do que qualquer outro métodos de compreender que possuímos.
Esse episódio de Veritasium foi parcialmente suportado por essas pessoas legais do Patreon
e pela Audible.com, o maior provedor de audiolivros online, com centenas de milhares de títulos em todas as áreas da literatuda
incluindo ficções, não ficcionais e periódicos.
A Audible oferece 30 dias de teste grátis para qualquer um que assista esse canal
Vá para (link) para que eles saibam que eu os mandei.

Spanish: 
la prevalencia de información incorrecta en las revistas científicas publicadas
después de todo llegar a la verdad que conocemos es duro y matemáticamente no todo lo
publicado es correcto
Lo que me atrapa es el pensamiento de que incluso dando nuestro mejor esfuerzo para entender que
es verdadero, usando nuestras herramientas matemáticas más rigurosas y sofisticadas: revisión por pares,
y estándares de práctica, aún así nos equivocamos muy a menudo; ¿cuán frecuentemente
nos engañamos a nosotros mismos cuando no usamos el método científico? Sin importar lo defectuosa
que pueda ser nuestra ciencia, es por más confiable que cualquier otra forma de saber
que tenemos.
Este episodio de veritasium fue apoyado en parte por esta gente
fina en Patreon y por Audible.com, el proveedor líder de audiolibros en línea
con cientos de miles de títulos en todas las áreas de la literatura, incluyendo:
ficción, no ficción y periódicos, Audible ofrece una período de prueba gratuito de 30 días
cualquiera que mire este canal, sólo vaya a audioble.com/veritasium para que puedan saber

Korean: 
잘못된 정보가 널리 퍼져있다는
사실이 아니었어요.
어쨌든 진실에 다가가는 것이 어렵다는 것은
우리도 알고 있고, 수학적으로 출판되는
모든 것들이 옳을 수는 없으니까요.
저를 사로잡았던 부분은, 우리가
진실을 찾아내려 아무리 최선을 다하더라도,
우리의 가장 첨예하고 엄격한 수학적
도구를 사용해도 말이죠. 동업자의 평가나
표준 실험을 통하더라도, 우리는 여전히 종종
틀리고 있어요. 그럼 도대체 얼마나 자주
우리는 과학적인 방식을 사용하지 않도록
우리 스스로를 속이고 있는걸까요?
우리가 가진 과학에 결점이 있을수록,
우리가 알고 있다고 생각했던 것들에
안도하기 어려워질거에요.
이 에피소드는 Patreon의 이 훌륭한
후원자분들과
Audible.com의 후원을 통해 만들어졌어요.
 Audible은 픽션, 논픽션, 그리고 정기 간행물을 포함한
수많은 문헌을 오디오북으로
만든 훌륭한 온라인 사이트에요.
Audible은 이 채널을 시청하고 계시는
모든 분들께 30일 무료 체험권을 제공하고 있어요.
audible.com/veritasium에 가시면되요.
그래야 제가 보낸 분들이라는 걸 알테니까요.

Chinese: 
我觉得关于科学可重现性危机最让人触目的不是
不正确的信息在出版的科学期刊盛行
毕竟探究科学的真相很难，
从数学上讲也不可能每个发布的科研结果都正确
让我最触目的是即便我们已经尽我们所能
使用了我们在科学上最严谨成熟的数学工具
同行审议，乃至实验的标准化，
我们依然会如此频繁地出错
当我们没有使用科学的方法时，
我们会多么频繁地自欺欺人？
虽然我们的科学还有这么多缺陷，
科学也已经是我们获得知识最好的方式了，
远远比我们其他方式要靠谱
这期“真理元素”由 Patreon 上的个人赞助，还有 Audible.com
Audible.com 是在线有声书籍的领先提供者
拥有上万本不同领域的书籍，包括小说，非小说和期刊
Audible 对看这个频道的观众提供 30 天的免费试用
访问 audible.com/veritasium 
让他们知道你是从我这来的

Chinese: 
我推荐 Andrea Wolf 著的《自然的发明》
这是 Alexander von Humboldt 的传记，
他是一个冒险家和博物学家
他激励达尔文登上了英国海军的小猎犬号。
你可以访问 audible.com/veritasium
下载这本或者任何你想读的书，享受一个月的免费试用
所以一如既往，我想感谢 Audible 对我的赞助，
以及非常感谢你的观看

Korean: 
이번에 제가 추천드릴 책은 Andrea Wolf의
"The Invention of Nature"이에요.
Alexander von Humboldt의 자서전인데,
그는 모험가이자 동식물 학자로서
다윈에게 Beagle 해협에 가도록 영감을
주었던 사람이에요. 이 책이나 다른 원하시는
어떤 책이든 한달 무료 체험권을 통해
다운받으실 수 있어요. 그러니
audible.com/veritasium에 가보세요.
그러니 늘 그랬듯, 절 후원해주신
Audible에 감사드리고
시청해주신 여러분들께도 정말 감사드려요.

German: 
Ein Buch das ich empfehle ist "The Invention of Nature" von Andrea Wolf.
Es ist eine Biographie von Alexander von Humboldt, einem Abendteurer und Naturalisten
der Darwin inspirierte, die HMS Beagle zu besteigen. Du kannst dieses Buch oder jedes andere
für einen Monat gratis unter audible.com/veritasium herunterladen.
Somit danke ich wie immer Audible für die Unterstützung,
und ich danke DIR ganz herzlich für's zuschauen.

Czech: 
že jsem vás poslal. Kniha, kterou bych doporučil se nazývá "Vynález přírody" od Andrea Wolfa
což je životopis Alexandera von Humboldta, dobrodruha a přírodovědce
který vlastně inspiroval Darwina na palubě Beagle. Stáhnout si můžete tuto
nebo jakoukoliv jinou knihu podle vašeho výběru za jednoměsíční zkušební verzi zdarma na audible.com/veritasium
tak jako vždy chci poděkovat Audible za mojí podporu a opravdu
chci poděkovat i vám za sledování.

Portuguese: 
que eu te enviei. Um livro que eu recomendaria é chamado "The invention of Nature", de Andrea Wolf
que é uma biografica de Alexander Von Humboldt, um aventureiro e naturalista
que realmente inspirou Darwin a embarcar no Beagle; você pode fazer download desse
livro ou qualqer outro que escolher por um mês de teste gratuito em audible.com/veritasium
E como sempre eu quero agradecer à Audible por me apoiar e quero
realmente agradecê-lo por assistir.

Spanish: 
que los envié. Un libro que recomendaría se llama "The Invention of Nature" por Andrea Wold
que es una biografía de Alexander von Humboldt, un aventurero y naturalista
que de hecho inspiró a Darwin a abordar el Beagle; puedes descargar ese
libro o cualquier otro escogiendo el mes de prueba gratuita en audible.com/veritasium
y como siempre quiero agradecer a Audible por apoyarme y de verdad
quiero agradecerles por ver

Italian: 
vi ho mandati io. Un libro che consiglio è "L'invenzione della Natura" di Andrea Wolf,
che è una biografi di Alexander von Humboldt,
che ispirò Darwin a imbarcarsi sul Beagle;  potete scaricare
quel libro o qualsiasi altro a vostra scelta scegliendo un mese di prova gratuita a audible.com/veritasium
perciò come sempre grazie ad Audible per avermi aiutato e grazie
sincere a voi per avere guardato.

Portuguese: 
Minha recomendação é o livro "The Invention of Nature", de Andrea Wulf
que é uma biografia de  Alexander von Humboldt.
que inspirou Charles Darwin a navegar no Beagle.
Você pode baixar esse ou qualquer outro livro que escolher no seu mês grátis no link.
Então quero agradecer a Audible por me patrocinar e quero agradecer você por assistir.

iw: 
שאני שלחתי אתכם. ספר שאני ממליץ נקרא
"המצאת הטבע" מאת אנדראה וולף
שהוא ביוגרפיה של אלכסנדר פון-המבולדט,
הרפתקן וחוקר טבע
שבעצם נתן לדארווין השראה לעלות על סיפון ה"ביגל"; 
אתם יכולים להוריד
את הספר הזה או כל אחד אחר לבחירתכם 
לחודש ניסיון חינם ב-audible.com/veritasium
אז כמו תמיד אני רוצה להודות ל-audible 
על התמיכה בי ואני רוצה מאוד
להודות לכם על שצפיתם.

English: 
i sent you. A book i'd recommend is
called "The Invention of Nature" by Andrea Wolf
which is a biography of Alexander
von Humboldt, an adventurer and naturalist
who actually inspired Darwin to
board the Beagle; you can download that
book or any other of your choosing for a
one month free trial at audible.com/veritasium
so as always i want to thank
Audible for supporting me and I really
want to thank you for watching.
