확률·통계가설검정#310

가설검정

Hypothesis Testing

가설검정은 미리 정한 모집단 가정 아래에서 관측 결과가 얼마나 드문지 평가하는 절차다. 귀무가설·대립가설과 유의수준을 먼저 정하고 p값이나 기각역으로 판단하며, 단측·양측의 차이와 제1종·제2종 오류를 구별한다. 기각하지 못한 결과를 가설의 입증으로 바꾸지 않는다.

주인공 기호
H₀
읽는 시간
약 10분
선수 개념
t분포

직관 — 기준을 세운 뒤 자료와 비교한다

직관

평소와 달라 보이는 결과를 만났다고 바로 변화가 생겼다고 결론 내리지는 않는다. 먼저 ‘변화가 없다면 이 정도 결과가 나올 수 있을까?’라는 비교 기준을 세운다. 그 기준에서 드문 결과일수록 기준을 다시 검토할 이유가 커진다.

이 비유에서 기준이 되는 모집단의 주장이 귀무가설이고, 비교를 위해 표본에서 계산하는 수가 검정통계량이다. 가설검정은 통계적 가설검정이라고도 하며, 자료를 본 뒤 원하는 결론에 맞춰 기준을 고르는 절차가 아니다.

가설검정은 모집단에 대한 가정을 자료로 평가하는 절차다

귀무가설 H0H_0는 검정의 기준이 되는 주장이고, 대립가설 H1H_1은 그 기준과 비교하려는 다른 주장이다. 예를 들어 공정의 모평균이 100g인지 묻는 양측검정은 다음처럼 쓴다. 여기서 검정하는 대상은 이미 계산한 표본평균이 아니라 미지의 모평균이다.

H0:μ=100,H1:μ≠100.(1)H_0:\mu=100,\qquad H_1:\mu\ne100. \tag{1}
정의
기호이름원어뜻
H0H_0귀무가설null hypothesis확률 계산의 기준 가정
H1H_1대립가설alternative hypothesis자료로 뒷받침하려는 다른 주장
μ\mu모평균population mean전체 공정의 평균 질량
α\alpha유의수준significance level참인 귀무가설을 잘못 기각할 위험의 기준
β\beta제2종 오류의 확률type II error probability거짓인 귀무가설을 기각하지 못할 확률
Z,zobsZ,z_{\rm obs}검정통계량, 관측값test statistic, observed statistic반복 표집에서 달라지는 수와 이번 계산값
pvalp_{\rm val}p값p-value귀무가설 아래 관측값만큼 또는 더 극단적인 결과의 확률
cc임계값critical value기각역을 구분하는 경계

교과서와 통계 프로그램은 p값을 유의확률이라고도 부른다. 귀무가설을 기각하지 못한 결과를 ‘채택한다’고 쓰는 교과서도 있지만, 이 글은 입증과 구별하려고 ‘기각하지 못한다’로 쓴다.

귀무가설에는 기준값을 등호로 두고, 자료로 보이고 싶은 주장은 대립가설에 둔다. 대립가설이 ‘다르다’이면 양쪽 방향을 보는 양측검정이고, ‘크다’ 또는 ‘작다’ 한 방향만 보면 단측검정이다.

연구 질문귀무가설대립가설검정
평균 질량이 100g과 다른가?μ=100\mu=100μ≠100\mu\ne100양측
평균 질량이 100g보다 큰가?μ=100\mu=100μ>100\mu>100오른쪽 단측
평균 질량이 100g보다 작은가?μ=100\mu=100μ<100\mu<100왼쪽 단측

단측검정의 귀무가설을 μ≤100\mu\le100처럼 부등호로 쓰는 자료도 있다. 그때도 확률 계산은 경계값 100에서 한다. 어느 방향이 질문에 맞는지, 유의수준을 얼마로 할지는 결과를 보기 전에 정한다.

유의수준과 기각역은 무엇이 다른가?

유의수준은 잘못된 기각을 얼마나 감수할지 정하는 기준이고, 기각역은 실제로 귀무가설을 기각하도록 정한 검정통계량의 범위다. 정확한 연속분포 모형의 검정에서는 귀무가설이 참일 때 기각역에 들어갈 확률을 유의수준에 맞춘다. 근사 검정의 실제 오류 확률은 그 근사의 정확도에도 영향을 받는다.

여기서는 앞 글 t분포에서 비교한 표준정규분포를 사용한다. 귀무가설 아래 ZZ가 표준정규분포를 따른다고 주어진 간단한 모형이다. 구체적인 평균과 비율에서 어떤 통계량을 만들지는 후속 글에서 배운다. 양측 유의수준 0.05의 기각역은 아래와 같다.

∣Z∣≥c,c≈1.95996,P(∣Z∣≥c)=0.05.(2)|Z|\ge c,\qquad c\approx1.95996,\qquad P(|Z|\ge c)=0.05. \tag{2}

양쪽 꼬리에 0.025씩 배분하기 때문이다. 연속분포에서는 경계 한 점의 확률이 0이어서 경계 포함 여부가 오류 확률을 바꾸지 않는다. 이 글의 결정 규칙은 p값이 유의수준 이하이면 기각하는 것으로 통일한다.

p값은 귀무가설이 참일 확률인가?

아니다. p값은 귀무가설과 표본 모형을 가정한 상태에서, 관측한 검정통계량만큼 또는 더 극단적인 값이 나올 확률이다. ‘가정 아래 자료의 드묾’을 ‘자료를 보니 가정이 참일 확률’로 뒤집을 수 없다.

이번 관측값이 zobs=2.2z_{\rm obs}=2.2라고 하자. 양측검정에서는 2.2 이상인 값뿐 아니라 −2.2 이하인 값도 같은 정도 이상의 극단적인 결과다.

pval=P(∣Z∣≥2.2)=2P(Z≥2.2)≈0.02781.(3)p_{\rm val}=P(|Z|\ge2.2) =2P(Z\ge2.2)\approx0.02781. \tag{3}

미리 정한 유의수준이 0.05이면 기각하고, 0.01이면 기각하지 못한다. 결과를 본 뒤 0.01을 0.05로 바꾸는 것은 미리 정한 절차를 따른 판단이 아니다. 그림 1의 위쪽은 사전에 정한 기각역, 아래쪽은 이번 자료로 계산한 p값의 넓이다.

표준정규분포를 따르는 검정통계량의 양측 예다. 위는 유의수준 0.05에 해당하는 기각역이고, 아래는 관측값 2.2에서 계산한 p값 약 0.02781의 영역이다. 그림은 −4부터 4까지 표시하며, 확률 수치는 창 밖의 꼬리도 포함한다.
그림 1 표준정규분포를 따르는 검정통계량의 양측 예다. 위는 유의수준 0.05에 해당하는 기각역이고, 아래는 관측값 2.2에서 계산한 p값 약 0.02781의 영역이다. 그림은 −4부터 4까지 표시하며, 확률 수치는 창 밖의 꼬리도 포함한다. figures/rejection_and_pvalue.py

p값으로 판단한 결과와 기각역으로 판단한 결과는 왜 같나?

∣zobs∣|z_{\rm obs}|가 커질수록 양측 p값이 줄어들고, ∣zobs∣=c|z_{\rm obs}|=c일 때 p값이 정확히 α\alpha이기 때문이다. 그래서 ‘p값이 0.05 이하’와 ‘관측값이 기각역 ∣z∣≥1.96|z|\ge1.96 안’은 같은 판정이다.

그림 2는 양측 p값 2P(Z≥∣zobs∣)2P(Z\ge|z_{\rm obs}|)를 관측값의 절댓값에 따라 그린 것이다. 관측값 1.5는 p값 0.134로 0.05 위에 있고 기각역 밖이다. 관측값 2.2는 p값 0.028로 0.05 아래에 있고 기각역 안이다.

양측검정의 p값을 관측값의 절댓값 |z_rm obs|에 따라 그렸다. 곡선이 α=0.05 선과 만나는 곳이 임계값 1.96이며, 그보다 오른쪽의 음영이 기각역이다. 두 점은 관측값 1.5와 2.2의 p값 0.134와 0.028이다.
그림 2 양측검정의 p값을 관측값의 절댓값 ∣zobs∣|z_{\rm obs}|에 따라 그렸다. 곡선이 α=0.05\alpha=0.05 선과 만나는 곳이 임계값 1.96이며, 그보다 오른쪽의 음영이 기각역이다. 두 점은 관측값 1.5와 2.2의 p값 0.134와 0.028이다. figures/pvalue_by_z.py

두 방법은 판정만 같고 전하는 정보는 다르다. 기각역은 ‘기각 여부’만 말하지만, p값은 경계에서 얼마나 떨어졌는지도 보여 준다. 그래서 보고서에는 판정과 함께 p값을 적는다.

가설검정은 어떤 순서로 진행하나?

자료를 보기 전에 가설·유의수준·방향을 정하고, 자료를 본 뒤 통계량과 p값을 계산해 판정한다. 이 순서를 지켜야 유의수준이 뜻하는 오류 위험이 유지된다.

  1. 모집단과 질문을 정하고 귀무가설과 대립가설을 세운다. 예: 식 (1).
  2. 유의수준과 양측·단측을 정한다. 예: α=0.05\alpha=0.05, 양측.
  3. 귀무가설 아래 분포를 아는 검정통계량을 정하고 자료로 관측값을 계산한다. 예: zobs=2.2z_{\rm obs}=2.2.
  4. p값을 구하거나 관측값이 기각역에 드는지 본다. 예: 식 (3)의 0.02781, 2.2≥1.962.2\ge1.96.
  5. pval≤αp_{\rm val}\le\alpha이면 귀무가설을 기각하고, 아니면 기각하지 못한다고 쓴 뒤 맥락으로 해석한다.

5단계의 결론 문장은 ‘유의수준 0.05에서 귀무가설을 기각한다. 모평균이 100g과 다르다는 통계적 증거가 있다’처럼 쓴다. 기준·판정·뜻을 한 번에 담는다.

단측검정과 양측검정은 무엇이 다른가?

단측검정은 유의수준 전체를 한쪽 꼬리에 두고, 양측검정은 양쪽에 반씩 나눈다. 그래서 유의수준 0.05의 임계값은 오른쪽 단측이 1.645, 양측이 1.96이다.

pval=P(Z≥zobs)(H1:μ>100),pval=P(Z≤zobs)(H1:μ<100).(4)p_{\rm val}=P(Z\ge z_{\rm obs})\quad(H_1:\mu>100),\qquad p_{\rm val}=P(Z\le z_{\rm obs})\quad(H_1:\mu<100). \tag{4}

관측값이 1.8이면 오른쪽 단측 p값은 약 0.0359, 양측 p값은 그 2배인 약 0.0719다. 같은 1.8이 그림 3의 위에서는 기각역 안, 아래에서는 밖에 놓인다. 반대 방향인 H1:μ<100H_1:\mu<100을 미리 정했다면 p값은 P(Z≤1.8)≈0.9641P(Z\le1.8)\approx0.9641이어서 전혀 기각할 수 없다.

유의수준 0.05에서 위는 오른쪽 단측검정의 기각역 Z≥1.645, 아래는 양측검정의 기각역 |Z|≥1.96이다. 세로선은 관측값 1.8로, 단측에서는 기각역 안에, 양측에서는 밖에 있다.
그림 3 유의수준 0.05에서 위는 오른쪽 단측검정의 기각역 Z≥1.645Z\ge1.645, 아래는 양측검정의 기각역 ∣Z∣≥1.96|Z|\ge1.96이다. 세로선은 관측값 1.8로, 단측에서는 기각역 안에, 양측에서는 밖에 있다. figures/one_vs_two_sided.py

방향을 정하는 근거는 연구 질문이지 자료가 아니다. 관측값의 부호를 보고 그쪽 단측을 고르는 습관이면, 귀무가설이 참일 때 기각할 확률은 0.05가 아니라 P(∣Z∣≥1.645)≈0.10P(|Z|\ge1.645)\approx0.10이 된다.

제1종 오류와 제2종 오류는 무엇인가?

제1종 오류는 귀무가설이 참인데 기각하는 잘못이고, 제2종 오류는 귀무가설이 거짓인데 기각하지 못하는 잘못이다. 유의수준 α\alpha는 제1종 오류의 확률을 정하는 기준이고, 제2종 오류의 확률은 β\beta로 쓴다.

판정H0H_0가 참일 때H0H_0가 거짓일 때
H0H_0를 기각제1종 오류(확률 α\alpha)올바른 판정
H0H_0를 기각하지 못함올바른 판정제2종 오류(확률 β\beta)

β\beta는 실제 모평균이 기준과 얼마나 다른지에 따라 달라진다. 모표준편차를 알아 표본평균의 표준오차가 0.5g인 단순화 상황에서, 실제 모평균이 101g이라고 하자. 그러면 Z=(Xˉ−100)/0.5Z=(\bar X-100)/0.5의 분포는 중심이 (101−100)/0.5=2(101-100)/0.5=2인 정규분포 N(2,1)N(2,1)로 옮겨 간다. 이때의 검정통계량을 Z1Z_1이라 하면 기각하지 못할 확률은 다음과 같다.

β=P(−1.96<Z1<1.96)≈0.484,Z1∼N(2,1).(5)\beta=P(-1.96<Z_1<1.96)\approx0.484,\qquad Z_1\sim N(2,1). \tag{5}

실제로 1g 차이가 있어도 이 검정은 약 48%의 확률로 기각하지 못한다. 그림 4에서 주황색은 귀무가설 아래 기각역의 넓이 α\alpha, 파란 음영은 실제 분포에서 기각역 밖에 남는 넓이 β\beta다.

귀무가설 아래 검정통계량의 분포 N(0,1)과, 표준오차 0.5g에서 실제 모평균이 101g일 때의 분포 N(2,1)이다. 주황색 두 꼬리의 넓이가 α=0.05, 파란 음영이 기각하지 못할 확률 β≈0.484다.
그림 4 귀무가설 아래 검정통계량의 분포 N(0,1)N(0,1)과, 표준오차 0.5g에서 실제 모평균이 101g일 때의 분포 N(2,1)N(2,1)이다. 주황색 두 꼬리의 넓이가 α=0.05\alpha=0.05, 파란 음영이 기각하지 못할 확률 β≈0.484\beta\approx0.484다. figures/type_one_two_errors.py

같은 상황에서 유의수준을 0.01로 낮추면 임계값이 2.576으로 멀어져 β\beta는 약 0.718로 커진다. 반대로 표본을 4배로 늘려 표준오차를 0.25g으로 줄이면 중심이 4로 옮겨 β\beta는 약 0.021로 줄어든다. 제1종 오류를 줄이는 대가로 제2종 오류가 커지므로, 두 오류의 비용을 보고 유의수준과 표본 크기를 함께 정한다.

도구로 p값과 임계값을 어떻게 확인하나?

SciPy의 sf(z)는 표준정규분포에서 z보다 큰 쪽 넓이를, ppf는 누적 넓이에 해당하는 경계를 계산한다. 양측에서는 관측값의 절댓값으로 양쪽 넓이를 합한다. 이 코드는 주어진 표준정규 모형의 계산이며, 원자료가 어떤 모형을 따르는지 자동으로 확인해 주지는 않는다.

from scipy import stats

alpha = 0.05
z_observed = 2.2
critical = stats.norm.ppf(1-alpha/2)
p_value = 2 * stats.norm.sf(abs(z_observed))
print("critical:", round(critical, 5))
print("p-value:", round(p_value, 5))
print("reject:", p_value <= alpha)
print("one-sided p (greater):", round(stats.norm.sf(z_observed), 5))

출력은 1.95996, 0.02781, True, 0.0139다. True는 설정한 규칙에서 기각한다는 뜻이며, 대립가설이 확실히 참이라는 뜻은 아니다. 마지막 줄은 H1:μ>100H_1:\mu>100을 미리 정했을 때의 식 (4)다. 모평균 검정과 모비율 검정에서는 원자료·모수·표준오차를 이 계산과 연결한다.

검정 결과에 무엇을 함께 써야 하나?

대상 모집단, 표본추출과 독립성, 귀무·대립가설, 사전 유의수준, 계산 방법, 검정통계량, p값, 결론을 함께 적는다. ‘기각하지 못했다’는 증거가 부족하다는 뜻이며, 식 (5)처럼 실제 차이를 놓쳤을 수도 있다.

통계적으로 유의하다는 사실과 실제로 중요한 차이가 있다는 사실도 다르다. 표본이 아주 크면 작은 차이도 검출할 수 있다. 추정한 차이와 신뢰구간, 현장에서 의미 있다고 정한 크기를 함께 보고한다.

같은 자료에서 많은 가설을 시험한 뒤 작은 p값만 고르면 잘못된 발견 위험이 커진다. 귀무가설이 모두 참인 서로 독립인 검정 20개를 각각 유의수준 0.05로 하면, 적어도 하나가 기각될 확률은 다음과 같다.

1−0.9520≈0.64(6)1-0.95^{20}\approx0.64 \tag{6}

사전 분석 계획을 남기고, 계획에 없던 탐색 결과는 탐색이라고 구분한다.

핵심

가설검정은 귀무가설과 표본 모형 아래 관측값 이상의 극단적인 결과가 나올 확률인 p값을 미리 정한 유의수준과 비교하는 절차다. 기각하지 못했다는 결론은 귀무가설의 입증이 아니다.

가설검정의 유의수준 0.05는 이번 결론이 틀릴 확률 5%야?

아니다. 유의수준 0.05는 귀무가설이 참일 때 같은 검정 절차를 반복하면 약 5%에서 잘못 기각하도록 정한 기준이다. 이번 결론이 틀릴 확률은 귀무가설이 실제로 참인지에 달려 있어 이 값으로 계산되지 않는다.

가설검정에서 p값이 크면 차이가 없다고 말해도 돼?

아니다. 기각할 증거가 부족하다고 말한다. 식 (5)의 예처럼 실제 차이가 1g이어도 기각하지 못할 확률이 약 0.484일 수 있다. 차이가 없다고 결론 내리려면 무시할 수 있는 차이의 크기와 그 차이를 구별할 정밀도를 따로 검토한다.

가설검정에서 0.049와 0.051은 완전히 다른 결과야?

아니다. 0.05 기준의 판정은 다르지만 자료의 증거가 갑자기 크게 달라지는 것은 아니다. 양측 p값 0.049와 0.051에 해당하는 관측값은 약 1.969와 1.951로 거의 같다. 정확한 p값과 추정 크기·불확실성을 함께 적어 경계 판정만으로 결론을 과장하지 않는다.

가설검정의 흔한 오해

  • 양측 p값이 크면 더 작은 단측 p값으로 바꾸면 된다. — 관측값 1.8의 양측 p값 0.0719를 보고 단측 0.0359로 바꾸면 결론이 뒤집힌다. 방향 선택도 사전에 정할 절차여서, 자료를 본 뒤 고르면 원래 유의수준의 해석이 유지되지 않는다.
  • 유의수준은 언제나 0.05로 정한다. — 0.05는 흔한 관례일 뿐이다. 식 (5)의 상황에서 0.01로 낮추면 β\beta가 약 0.718로 커지므로, 두 오류의 비용에 따라 미리 고른다.
  • 유의한 결과만 보고하면 분석이 명료해진다. — 여러 검정 중 무엇을 골랐는지 숨기게 된다. 분석한 항목과 사전 계획, 추가 탐색을 함께 공개한다.

직접 해보기

  1. 같은 표준정규 모형의 양측검정에서 새 관측값은 1.5다. p값을 도구로 구하고 유의수준 0.05에서 판단하라.
  2. 새 공정의 평균 처리시간이 기존 40초보다 짧아졌는지 검정하려 한다. 가설을 세우고, 표준정규 모형의 관측값이 −1.9일 때 유의수준 0.05로 판단하라. 같은 값을 양측으로 계획했다면 결론은 어떻게 되는가?
  3. 사전에 유의수준 0.01을 정했는데 p값 0.04를 얻었다. 어떤 결론을 써야 하는가?
  4. 평균 처리시간 차이가 0.2초이고 통계적으로 유의했다. 현장에서 의미 있다고 사전에 정한 차이는 5초다. 무엇을 구별해 보고할까?
  5. 서로 다른 100명을 조사할 계획 대신 한 사람을 100번 측정했다. 자료 수가 같다는 이유로 같은 독립 표본 검정을 적용해도 되는가?
답
  1. 2*stats.norm.sf(1.5)는 약 0.13361이다. 0.05보다 크므로 기각하지 못한다. 이는 귀무가설을 입증한 것이 아니다.
  2. H0:μ=40H_0:\mu=40, H1:μ<40H_1:\mu<40인 왼쪽 단측검정이다. p값은 P(Z≤−1.9)≈0.02872P(Z\le-1.9)\approx0.02872로 0.05 이하이므로 기각한다. 양측으로 계획했다면 p값은 약 0.05743이어서 기각하지 못한다. 어느 쪽인지는 자료를 보기 전에 정한다.
  3. 0.04는 0.01보다 크므로 기각하지 못한다. 결과를 본 뒤 기준을 0.05로 바꾸어 기각했다고 쓰지 않는다.
  4. 통계적으로 검출된 차이는 0.2초이고, 사전 실질 기준 5초보다 작다는 사실을 함께 보고한다. 신뢰구간과 측정 조건도 확인한다.
  5. 안 된다. 같은 사람의 반복 측정은 서로 의존할 수 있고 대표하는 대상도 달라진다. 표본 수만으로 독립성과 대표성이 보장되지 않는다.

더 읽기

  • NIST, What are statistical tests? — 가설·기각역·단측 가설과 제2종 오류를 구별하는 기본 절이다. ‘제1종 오류와 제2종 오류는 무엇인가?’ 절이 β\beta가 실제 차이의 크기에 달려 있다는 이 설명을 따른다.
  • OpenStax, Rare Events, the Sample, Decision and Conclusion — p값과 비기각 결론을 읽는 참고 자료다. 이 글은 결과의 유의성과 실제 중요성을 따로 보고한다.
  • SciPy, norm — 누적 넓이·오른쪽 꼬리·분위수의 도구 입력을 확인한다.

영상 노트

영상 노트
  • 00:00 모집단 주장과 표본 자료 구별
  • 00:40 식 (1)과 가설 세우는 표, 교과서 낱말
  • 01:30 식 (2)의 기각역과 식 (3)의 p값, 그림 1
  • 02:30 그림 2로 두 판정이 같은 이유와 다섯 단계 순서
  • 03:30 식 (4)와 그림 3의 단측·양측 비교
  • 04:30 식 (5)와 그림 4의 제1종·제2종 오류
  • 05:30 도구 실행, 식 (6)의 여러 검정과 보고 원칙

지도에서의 위치

이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안
  2. 2026-11-17 · 전수 검수 반영 — 가설 세우는 법과 검정 순서, p값과 기각역 판단이 같은 이유, 단측·양측 비교, 제1종·제2종 오류와 그 크기, 여러 검정의 위험을 수치로 보강, 교과서 낱말 다리, 질문·오해·연습 보강 (에이전트 수정, 그림 1→4)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림