
English: 
- Let's say that I run a website
that currently has this off white color
for it's background
and I know the mean amount of time
that people spend on my website,
let's say it is 20 minutes
and I'm interested in making a change
that will make people spend
more time on my website.
My idea is to make the background color
of my website yellow.
But after making that change,
how do I feel good about
this actually having
the intended consequence?
Well that's where significance
tests come into play.
What I would do is first
set up some hypotheses,
a null hypothesis and an
alternative hypothesis.
The null hypothesis tends
to be a statement that,
"Hey, your change actually had no effect,
"there's no news here,"
and so this would be that
your mean is still equal to 20 minutes
after the change to yellow, in this case,
for our background.

Korean: 
배경이 흰색인
웹사이트를 운영한다고 합시다
웹사이트를 운영한다고 합시다
웹사이트 방문 시간의 평균은
웹사이트 방문 시간의 평균은
20분이라고 합시다
사람들이 웹사이트에 오래 있도록
무언가 변화를 줄 것입니다
배경을 노란색으로 바꿉니다
배경을 노란색으로 바꿉니다
이렇게 변화를 주고 나서
실제로 의도한 결과가 나오는지
어떻게 알 수 있죠?
여기서 유의성 검정이 등장합니다
먼저 귀무가설과
대립가설을 세웁니다
먼저 귀무가설과
대립가설을 세웁니다
귀무가설은 다음과 같습니다
변화를 주어도 효과가 없는 것이죠
그러므로 이 문제에서는
배경을 노란색으로 바꾸어도
평균이 그대로 20분이라는 것입니다
평균이 그대로 20분이라는 것입니다

Bulgarian: 
Да кажем, че ръководя уебсайт,
фонът на който е
този бял цвят
и знам средната стойност на 
количеството време,
което хората прекарват в уебсайта ми,
да кажем, че е 20 минути,
и искам да направя промяна,
която ще накара хората да прекарват
повече време на уебсайта ми.
Идеята ми е да направя фона на
уебсайта си жълт.
Но след като направя тази промяна,
как да съм сигурен, че това ще има
замислените последици?
Тук в играта влизат 
тестовете за значимост.
Първо ще съставя някакви хипотези,
нулева хипотеза и алтернативна хипотеза.
Нулевата хипотеза 
по принцип е твърдение че:
"Хей, промяната ти нямаше ефект,
няма нищо ново тук" и това ще е
че средната стойност все още 
е равна на 20 минути
след промяната на фона, 
в този случай, в жълто.

Bulgarian: 
И ще имаме и алтернативна хипотеза.
Алтернативната ни хипотеза
е че нашата средна стойност сега 
е по-голяма заради промяната,
че хората прекарват повече време в сайта ми.
Средната ни стойност е по-голяма 
от 20 минути след промяната.
Следващото нещо е да поставим
граница, позната като 
ниво на значимост.
И след малко ще видиш как 
това влиза в играта.
Нивото ти на значимост
обикновено се отбелязва 
с гръцката буква алфа
и обикновено се срещат 
нива на значимост като
1/100 или 5/100, или 1/10,
или 1%, 5% или 10%.
Може да видиш и други,
но ще поставим ниво на значимост
за този случай в частност...
Да кажем, че ще е 0,05.
И сега ще
вземем извадка от хората, посещаващи

English: 
And we would also have an
alternative hypothesis.
Our alternative hypothesis is actually
that our mean is now greater
because of the change,
that people are spending
more time on my site.
So our mean is greater than
20 minutes after the change.
Now the next thing we do is we set up
a threshold known as
the significance level
and you will see how this
comes into play in a second.
So, your significance level
is usually denoted by
the Greek letter Alpha
and you tend to see
significant levels like
1/100 or 5/100 or 1/10
or 1%, 5%, or 10%.
You might see other ones,
but we're gonna set a significance level
for this particular case.
Let's just say it's going to be 0.05.
And what we're going to
now do is we're going to
take a sample of people visiting

Korean: 
그럼 대립가설은 무엇일까요?
대립가설은 변화에 의하여
평균이 높아지는 것이죠
웹사이트에 방문하느 시간이
높아진다는 것입니다
따라서 변화를 준 뒤 평균은
20분보다 커집니다
다음으로 해야할 것은
유의수준의 한계점을
설정하는 것입니다
어떻게 되는지
바로 확인할 수 있습니다
유의수준은
그리스 문자 알파로 표기합니다
보통 유의수준은
1/100, 5/100, 1/10
혹은 1%, 5%, 10%인데
다른 값도 있겠죠
이 특정 상황에 대한
유의수준을 세울 것입니다
0.05라고 합시다
다음으로 해야할 것은
노란색 배경의 웹사이트에

Bulgarian: 
този сайт с новия жълт фон
и ще пресметнем някои 
статистически характеристики.
Средната стойност на извадката, 
стандартното отклонение на извадката
и ще кажем: "Ако приемем, че
нулевата хипотеза е вярна,
каква е вероятността да имаме извадка
със статистическите характеристики, 
които получихме?"
И ако вероятността е по-ниска от
нашето ниво на значимост,
ако тази вероятност е по-малка от 5/100,
ако това е по-малко от 5%, тогава 
ще отхвърлим нулевата хипотеза
и ще кажем, че имаме 
доказателство за алтернативната.
Но ако вероятността да получим 
статистическите характеристики
за тази извадка е 
нивото на значимост или по-висока,
тогава ще кажем, че не можем 
да отхвърлим нулевата хипотеза
и нямаме доказателство за
 алтернативната.
Ще нарека това стъпка 3.
В стъпка 3 ще вземем извадка.
Да кажем, че взимаме извадка с размер...
да кажем, че взимаме 100 души, които 
са посетили новия ни уебсайт,

Korean: 
방문한 사람들의 표본을
추출하는 것입니다
표본평균, 표본표준편차와 같은
통계량을 계산합니다
만약 귀무가설이
참이라고 가정한다면
만약 귀무가설이
참이라고 가정한다면
우리가 얻은 통계량과 표본을
구할 확률은 무엇일까요?
만약 확률이
유의수준보다 작다면
만약 확률이
유의수준보다 작다면
확률이 5/100보다 작다면
5%보다 작다면
귀무가설을 기각하고
대립가설을 뒷받침하는 증거가
존재한다고 할 수 있습니다
그러나, 확률이
유의수준보다 크거나 같다면
그러나, 확률이
유의수준보다 크거나 같다면
귀무가설을 기각할 수 없고
대립가설을 뒷받침하는
증거가 없습니다
따라서 다음으로 해야할 것은
표본을 추출하는 것입니다
표본을 추출합시다
새로운 웹사이트를 방문한
100명을 추출합니다

English: 
this new yellow background website
and we're gonna calculate statistics.
The sample mean, the
sample standard deviation,
and we're gonna say,
"Hey, if we assume that
"the null hypothesis is true,
"what is the probability
of getting a sample
"with the statistics that we get?"
And if that probability is lower than
our significance level,
if that probability is less than 5/100,
if it's less than 5%, then
we reject the null hypothesis
and say that we have
evidence for the alternative.
However, if the probability
of getting the statistics
for that sample are at the
significance level or higher,
then we say, "Hey, we can't
reject the null hypothesis,
"and we aren't able to have
evidence for the alternative."
So what we would then do, I
will call this step three.
In step three, we would take a sample.
So let's say we take a sample size,
let's say we take 100 folks
who visit the new website,

Bulgarian: 
уебсайта с жълт фон,
и измерваме същите статистически
 характеристики за извадката.
Измерваме средната стойност 
на извадката тук,
да кажем, че за тази извадка
средната стойност е 25 минути.
И също е вероятно да...
ако не знаем реалното
стандартно отклонение 
на генералната съвкупност,
което обикновено не знаем,
също ще пресметнем стандартното 
отклонение на извадката.
После следващата ни стъпка е 
да пресметнем р-стойността.
р-стойността, което означава 
вероятностна стойност,
това е вероятността да получим 
една характеристика
поне толкова далеч от средната стойност,
ако приемем, че нулевата хипотеза 
е вярна.
Един начин да помислим за това
е, че това е условна вероятност.
Това е вероятността средната
стойност на извадката ни,
когато вземем извадка с размер n=100,
е по-голяма от или равна на 25 минути,

English: 
the yellow background website,
and we measure sample statistics.
We measure the sample mean here,
let's say that for that sample,
the mean is 25 minutes.
We are also likely to,
if we don't know what the actual
population standard deviation is,
which we typically don't know,
we would also calculate the
sample standard deviation.
Then the next step is
we calculate a p-value.
And the p-value, which
stands for probability value,
is the probability of getting a statistic
at least this far away from the mean
if we were to assume that
the null hypothesis is true.
So one way to think about it
it is a conditional probability.
It is the probability that our sample mean
when we take a sample of size n=100
is greater than or equal to 25 minutes,

Korean: 
노란색 웹사이트 말이죠
그리고 표본의 통계량을
측정합니다
표본평균을 측정합니다
표본평균은 25분입니다
표본평균은 25분입니다
또한 마찬가지로
모표준편차를 모른다면
모표준편차를 모른다면
모표준편차를 모른다면
표본표준편차를 계산합니다
그 다음으로 p값을 계산합니다
확률을 나타내는 p값은
귀무가설이 참이라고 가정하면
최소한 평균에서
멀리 떨어진 곳에서
통계량을 얻을 확률입니다
따라서 이것은
조건부 확률입니다
귀무가설이 참이라고 가정하고
표본의 크기가 100일 때
표본의 크기가 100일 때

Korean: 
표본평균이 25보다
크거나 같을 확률입니다
다른 강의에서
이와 관련된 이야기를 했었죠
표본평균의 표본분포가
정규분포를 따른다고 가정하면
표본평균
표본의 크기
표본표준편차를
사용할 수 있습니다
t 통계량을 사용하여
확률을 구할 수 있습니다
그러면 귀무가설을
기각할 수 있는지
결정할 수 있습니다
5단계입니다
5단계에는 두 상황이 있습니다
p값이 α보다 작다면
귀무가설을 기각합니다
그러면 대립가설을 뒷받침하는
증거가 만들어지겠죠
다른 상황을 봅시다

English: 
given our null hypothesis is true.
And in other videos, we have
talked about how to do this.
If we assume that the
sampling distribution
of the sample means is roughly normal,
we can use the sample mean,
we can use our sample size,
we can use our sample standard deviation,
perhaps we use a t-statistic,
to figure out what this
probability is going to be.
And then we decide whether we can reject
the null hypothesis.
So let me call that step five.
So step five, there are two situations.
If my p-value, if it is less than Alpha,
then I reject my null hypothesis
and say that I have evidence
for my alternative hypothesis.
Now, if we have the other situation,

Bulgarian: 
при положение, че нулевата 
ни хипотеза е вярно.
В други видеа сме говорили 
как да направим това.
Ако приемем, че извадковото
 разпределение
на средните стойности на извадката
е приблизително нормално,
можем да използваме средната
 стойност на извадката,
можем да използваме 
размера на извадката,
можем да използваме стандартното
 отклонение на извадката,
вероятно използваме t-критерий 
(критерий на Стюдънт),
за да намерим колко 
ще е тази вероятност.
И после решаваме 
дали можем да отхвърлим
нулевата хипотеза.
Нека нарека това стъпка 5.
Стъпка 5, има две ситуации.
Ако моята р-стойност, 
ако е по-малка от алфа,
тогава мога да отхвърля 
нулевата хипотеза
и да кажа, че имам доказателство
за алтернативната си хипотеза.
Ако имаме другата ситуация,

English: 
if my p-value is greater than or equal to,
in this case 0.05,
so if it's greater than or
equal to my significance level,
then I cannot reject the null hypothesis.
I wouldn't say that I
accept the null hypothesis,
I would just say that we do not
reject the null hypothesis.
And so, let's say, when I do
all of these calculations,
I get a p-value which would
put me in this scenario
right over here.
Let's say that I get a p-value of 0.03.
0.03 is indeed less than 0.05
so I would reject the null hypothesis
and say that I have evidence
for the alternative.
And this should hopefully
make logical sense
because what we're saying is, hey, look,
we took a sample and if we
assume the null hypothesis,
the probability of getting
that sample is 3%, it's 3/100,

Bulgarian: 
ако р-стойността ми е 
по-голяма от или равна на,
в този случай 0,05,
ако е по-голяма от или равна 
на нивото ми на значимост,
тогава не мога да отхвърля 
нулевата хипотеза.
Няма да кажа, че приемам 
нулевата хипотеза,
просто ще кажа, че
не отхвърляме нулевата хипотеза.
Да кажем, че когато извърша 
всички тези пресмятания,
получавам р-стойност, която 
ще ме постави в този сценарий ето тук.
Да кажем, че получа р-стойност от 0,03.
0,03 наистина е по-малко от 0,05
и затова ще отхвърля 
нулевата хипотеза
и ще кажа, че имам доказателство
за алтернативната.
И това трябва да има логика,
понеже казваме, че
взехме извадка и ако приемем 
нулевата хипотеза,
вероятността да получим 
тази извадка е 3%, тя е 3/100,

Korean: 
p값이 0.05보다
크거나 같다면
p값이 0.05보다
크거나 같다면
즉, 유의수준보다
크거나 같다면
귀무가설을 기각할 수 없습니다
귀무가설을 수용한다고 하지 않고
귀무가설을 기각할 수 없다고
하겠습니다
귀무가설을 기각할 수 없다고
하겠습니다
이 모두를 계산하면
p값을 구할 수 있겠죠
p값을 구할 수 있겠죠
p값이 0.03이라고 합시다
0.03은 0.05보다 작으므로
귀무가설을 기각하고
대립가설을 뒷받침한느
증거가 있습니다
논리적 이치에 맞기를 바랍니다
표본을 추출하고
귀무가설을 가정한다면

English: 
and so since that probability
is less than our
probability threshold here,
we'll reject it and say we have evidence
for the alternative.
On the other hand, there
might have been a scenario
where we do all of the calculations here
and we figure out a p-value that we get
is equal to 0.5, which you
can interpret as saying
that hey, if we assume the
null hypothesis is true,
that there's no change due to
making the background yellow,
I would have a 50% chance
of getting this result.
And in that situation,
since it's higher than
my significance level,
I wouldn't reject the null hypothesis.
A world where the null hypothesis is true
and I get this result,
well, you know, it
seems reasonably likely.
And so, this is the basis for
significant tests generally
and as you'll see, is
applicable in almost every field
you'll find yourself in.
Now there's one last
point of clarification

Korean: 
표본을 얻을 확률은
3%, 즉 3/100입니다
그 확률은
한계점보다 낮기 때문에
그 확률은
한계점보다 낮기 때문에
이를 기각하고
대립가설을 뒷받침하는
증거가 있다고 할 수 있습니다
반면 이러한 경우도 있겠죠
이를 모두 계산하고
구한 p값이 0.5라면
이렇게 해석할 수 있습니다
귀무가설이
참이라고 가정한다면
배경을 노랗게 바꾸어도
변하는건 없습니다
이 결과가 나올 확률은
50%입니다
그리고 이 상황에서
유의수준보다
p값이 더 크기 때문에
귀무가설을 기각하지 못합니다
귀무가설이 참이라면
이 결과가 나옵니다
합리적인것 같네요
이것은 일반적인
유의성 검정의 기본입니다
보다시피
여러분이 생각하는
대부분의 상황에서
적용 가능합니다
마지막으로, 확실히 하고
넘어갈 부분이 있습니다

Bulgarian: 
и след като тази вероятност
е по-малка от прага ни 
на вероятност тук,
тогава ще я отхвърлим и ще кажем,
че имаме доказателство
за алтернативната хипотеза.
От друга страна, може да има сценарий,
при който извършваме
всички изчисления тук
и р-стойността, която получаваме,
е равна на 0,5 което можеш да 
интерпретираш като кажеш,
че ако приемем, че 
нулевата хипотеза е вярна,
тогава правенето на фона жълт
не води до никаква промяна,
ще имам 50% шанс да получа
 този резултат.
И в тази ситуация, след като 
е по-висок от нивото ми на значимост,
няма да отхвърля нулевата хипотеза.
В случай, че 
нулевата хипотеза е вярна
и получа този резултат,
това изглежда логично и вероятно.
Това е основата за тестовете 
за значимост като цяло
и, както ще видиш, може 
да се приложи в почти всяка област,
в която се озовеш.
Има едно последно пояснение,

Bulgarian: 
което искам да направя много, 
много, много ясно.
Нашата р-стойност, това, 
което използваме,
за да решим дали да отхвърлим
 нулевата хипотеза или не,
това е вероятността да получиш 
статистическите характеристики на извадката,
при положение, че 
нулевата хипотеза е вярна.
Понякога хората объркват това
 и казват:
"Това ли е вероятността нулевата хипотеза
да е вярна, според статистическите
 характеристики, които получаваме?"
И аз ще кажа, че това 
изобщо не е така.
Не се опитваме да измерим 
вероятността
нулевата хипотеза да е вярна 
или грешна.
Опитваме се да кажем,
че ако приемем нулевата хипотеза
 за вярна,
каква е вероятността 
да получим резултата,
който получихме за извадката си.
И ако тази вероятност е ниска,
ако е под някакъв праг, който 
предварително сме поставили,
тогава решаваме да отхвърлим 
нулевата хипотеза
и да кажем, че имаме доказателство 
за алтернативната.

Korean: 
정말로 확실하게 해야합니다
귀무가설의 기각 여부를
결정하기 위해
사용하는 p값은
귀무가설이 참이라고 주어지면
표본통계량을
구할 수 있는 확률입니다
가끔 헷갈릴 때가 있습니다
이 값이 우리가 얻은
표본통계량을 볼 때
귀무가설이 참일 확률일까요?
명백하게 아닙니다
귀무가설이 참인지 아닌지에 대한
확률을 구하는 것이 아닙니다
이렇게 해석해야 합니다
귀무가설이 참이라고 가정하면
표본에 대한 통계량을
얻을 확률은 무엇일까요?
만약 확률이 낮다면
이전에 설정한 한계점보다 낮다면
귀무가설을 기각하고
대립가설을 뒷받침하는
증거가 있다고 할 수 있습니다

English: 
that I wanna make very, very, very clear.
Our p-value, the thing that we're using
to decide whether or not we
reject the null hypothesis,
this is the probability of
getting your sample statistics
given that the null hypothesis is true.
Sometimes people confuse
this and they say,
"Hey, is this the probability
that the null hypothesis
"is true given the sample
statistics that we got?"
And I would say, "Clearly,
no, that is not the case."
We are not trying to gauge the probability
that the null hypothesis is true or not.
What we are trying to do is say,
"Hey, if we assume the
null hypothesis were true,
"what is the probability
that we got the result
"that we did for our sample?"
And if that probability is low,
if it's below some threshold
that we set ahead of time,
then we decide to reject
the null hypothesis
and say that we have
evidence for the alternative.
