확률·통계조건부 확률#009

조건부 확률

Conditional Probability

조건부 확률 P(A|B)는 B가 일어난 경우만 남겨 분모를 바꾼 확률이다. 메일 100통에서 스팸 중 링크 메일은 24/30 = 0.80, 링크 메일 중 스팸은 24/38 ≈ 0.632로 분자는 같고 분모만 다르다. 확률의 곱셈정리, 독립과 종속도 같은 표로 확인한다.

주인공 기호
Pr(a | b)
읽는 시간
약 12분
선수 개념
시그마 (수열의 합)

직관 — 조건은 메일함의 필터다

직관

메일함에서 '링크 있음' 필터를 켜면 링크가 있는 메일만 화면에 남는다. 그 화면에서 스팸이 몇 통인지 세면, 전체 메일 수가 아니라 화면에 남은 메일 수로 나누게 된다. 필터를 끄면 다시 전체로 나눈다.

메일 한 통이 일어날 수 있는 결과 하나이고, 스팸 메일들의 모임이 확률을 재는 사건 aa다. 필터가 조건 bb, 화면에 남은 메일이 조건이 맞는 경우 전체다. 남은 메일 수로 나누는 일이 조건부 확률 Pr⁡(a∣b)\Pr(a \mid b)의 분모 바꾸기다. ChatGPT 같은 언어 모델이 다음 낱말에 매기는 확률도 앞 문장을 조건으로 건 조건부 확률이다.

이 페이지는 확률의 기초 묶음의 첫 장이다. 연쇄 법칙과 베이즈 정리는 이 페이지의 식 (2)·(4)를 곱과 역으로 쓰고, 주변화는 표의 행 합·열 합을, 샘플링은 식 (1)의 분포를 출발점으로 삼는다. 조건부 확률은 확률을 다시 나누는 일이라, 나눌 대상인 확률분포부터 정한다.

경우가 유한한 확률분포는 0 이상이고 합이 1인 벡터다

일어날 수 있는 결과가 서로 겹치지 않고 빠짐없는 KK가지로 나뉠 때, 확률분포는 그 KK가지에 확률을 하나씩 매긴 것이다. 그 확률을 순서대로 늘어놓은 벡터 p\mathbf{p}는 모든 칸이 0 이상이고, 칸을 다 더하면 1이다.11 교과서의 확률분포표에서 확률 줄만 늘어놓은 것이 이 벡터다. 칸이 KK개로 끝나는 분포만 벡터로 쓴다. 포아송 분포처럼 값이 끝없는 이산 분포는 합이 1인 무한 수열이고, 키·시간처럼 연속인 변수의 분포와 확률 밀도의 기본 뜻은 확률분포에서 다룬다.

p=(p1,…,pK),pk≥0,∑k=1Kpk=1(1)\mathbf{p} = (p_1, \dots, p_K), \qquad p_k \ge 0, \qquad \sum_{k=1}^{K} p_k = 1 \tag{1}

벡터는 수를 순서대로 늘어놓은 것이고, ∑k=1Kpk\sum_{k=1}^{K} p_k는 p1p_1부터 pKp_K까지 더한 값이다.22 벡터는 벡터와 내적 페이지, 합 기호는 시그마 (수열의 합) 페이지에서 따로 다룬다.

정의
기호이름원어뜻
a,ba, b사건·값event, value일어날 수 있는 일, 또는 변수의 값 하나. 이 페이지에서 aa는 스팸, bb는 링크가 있는 메일
¬a\lnot a여사건complementaa가 아닌 경우. ¬a\lnot a는 정상 메일, ¬b\lnot b는 링크 없는 메일
Pr⁡(a)\Pr(a)확률probabilityaa가 일어날 몫. 0 이상 1 이하. 문헌에 따라 P(a)P(a), p(a)p(a)로 쓴다
Pr⁡(a,b)\Pr(a, b)결합 확률joint probabilityaa와 bb가 함께 일어날 확률. Pr⁡(b,a)\Pr(b, a)와 같다
Pr⁡(a∣b)\Pr(a \mid b)조건부 확률conditional probabilitybb가 일어난 경우만 놓고 잰 aa의 확률. 이 페이지의 주인공
Pr⁡(⋅∣b)\Pr(\cdot \mid b)조건부 분포conditional distributionbb를 고정하고, 재는 쪽의 모든 값(aa와 ¬a\lnot a)에 매긴 확률을 늘어놓은 분포
p\mathbf{p}, pkp_k분포 벡터, 그 kk번째 칸probability vector식 (1)을 만족하는 벡터. KK는 칸 수
VV, ∣V∣\lvert V \rvert어휘, 어휘 크기vocabulary, vocabulary size언어 모델이 쓸 수 있는 토큰 전체와 그 개수
xix_i, x<ix_{<i}ii번째 토큰, 접두부token, prefix문장의 ii번째 토큰과, 그 앞의 토큰 x1,…,xi−1x_1, \dots, x_{i-1} 전부. i=1i = 1이면 접두부는 비어 있다

기호는 허브의 공통 기호표를 따른다. 이 페이지의 숫자는 두 예시에서 나온다. 하나는 메일 100통의 분할표이고(한 통을 고르게 뽑는다고 본다), 다른 하나는 어휘가 여섯 개인 작은 언어 모델이다.

bb 링크 있음¬b\lnot b 링크 없음합
aa 스팸24630
¬a\lnot a 정상145670
합3862100

표의 한 행을 그 행의 합으로 나누면 분포가 된다. 스팸 행 (24, 6)을 30으로 나누면 (0.8, 0.2)(0.8,\ 0.2)이고, 두 칸이 0 이상이며 합이 1이다. 표 전체를 100으로 나눈 네 칸 (0.24, 0.06, 0.14, 0.56)(0.24,\ 0.06,\ 0.14,\ 0.56)도 칸이 넷인 분포다.

칸이 KK개인 이런 분포를 범주형 분포라 한다. 언어 모델이 다음 토큰에 매기는 확률도 범주형 분포이고, 칸 수는 어휘 크기 ∣V∣\lvert V \rvert다. 어휘가 여섯 개(나는·밥을·먹었다·학교에·갔다·<끝>)인 작은 언어 모델이면 길이 6인 벡터다.

정답 칸만 1이고 나머지가 0인 분포는 원-핫 벡터다. "나는" 다음의 정답이 "밥을"이면 원-핫은 (0,1,0,0,0,0)(0, 1, 0, 0, 0, 0)이다. 같은 자리에서 작은 언어 모델은 "밥을" 칸에 0.4를 주고, 나머지 다섯 칸에 합쳐서 1−0.4=0.61 - 0.4 = 0.6을 준다.

신경망이 내는 수는 음수도 되고, 더해서 1이 된다는 보장도 없다. 이 수를 로짓(logit)이라 하고, 로짓 벡터를 식 (1)의 꼴로 바꿔 분포로 만드는 함수가 소프트맥스다.

조건을 걸면 왜 분모가 바뀌나

조건부 확률 Pr⁡(a∣b)\Pr(a \mid b)는 bb가 일어난 경우만 놓고 다시 잰 aa의 확률이고, 공식으로는 결합 확률을 조건의 확률로 나눈 Pr⁡(a,b)/Pr⁡(b)\Pr(a, b) / \Pr(b)다. 조건 bb를 걸면 bb가 아닌 경우는 버리고, 남은 경우끼리의 비율은 그대로 둔 채 합이 다시 1이 되게 하기 때문이다. 메일 표에서는 스팸이면서 링크 있는 24통은 그대로 두고 분모만 100통에서 링크 있는 38통으로 바꿔, 0.240.24가 24/38≈0.63224/38 \approx 0.632가 된다.

비율을 그대로 두려면 남은 칸을 모두 같은 수로 나눠야 한다. 남은 두 칸의 합 0.24+0.14=0.380.24 + 0.14 = 0.38이 바로 Pr⁡(b)\Pr(b)라서, 그 수로 나눠야 합이 1이 된다. 그래서 aa와 bb가 함께 일어날 확률 Pr⁡(a,b)\Pr(a, b)를 Pr⁡(b)\Pr(b)로 나눈다.

Pr⁡(a∣b)=Pr⁡(a,b)Pr⁡(b),Pr⁡(b)>0(2)\Pr(a \mid b) = \frac{\Pr(a, b)}{\Pr(b)}, \qquad \Pr(b) > 0 \tag{2}

세로 막대 ∣\mid는 '조건'이라 읽고, 오른쪽이 조건, 왼쪽이 확률을 재는 대상이다.33 이 묶음에서 세로 막대는 주로 세 가지로 쓰인다. Pr⁡(a∣b)\Pr(a \mid b)의 막대는 조건, ∣V∣\lvert V \rvert의 막대는 집합의 크기다. 샘플링 장의 {k∣u<ck}\{k \mid u < c_k\}에서는 '누적 확률 ckc_k가 난수 uu보다 큰 칸 kk들'이라는 집합 조건이다. 이 셋은 절댓값이 아니다. 절댓값 막대는 같은 장의 ∣p^k−pk∣\lvert \hat{p}_k - p_k \rvert처럼 수 하나를 양쪽에서 감쌀 때만 나온다.

고등학교 교과서는 붙여서 '조건부확률'이라 쓰고 P(B∣A)P(B \mid A)로 적는다. 이 페이지의 Pr⁡(b∣a)\Pr(b \mid a)와 같은 것이다. 교과서의 P(A∩B)P(A \cap B)는 결합 확률 Pr⁡(a,b)\Pr(a, b), ACA^C는 여사건 ¬a\lnot a다.

P(A|B)의 세로선(|)은 절댓값이야?

아니다. Pr⁡( ∣ )\Pr(\ \mid\ ) 안에서 두 사건 사이에 선 세로선은 '조건'이라는 뜻이라, Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632는 링크 있음(bb)을 조건으로 한 스팸(aa)의 확률이다. 절댓값은 ∣−3∣=3\lvert -3 \rvert = 3처럼 수 하나를 양쪽에서 감싸고, 어휘 크기 ∣V∣=6\lvert V \rvert = 6처럼 집합을 감싸면 원소의 개수다.

분할표에서는 개수를 세면 된다. 링크 있는 메일 38통이 조건을 건 뒤의 전체이고, 그중 스팸이 24통, 정상이 14통이다. 그래서 Pr⁡(a∣b)=0.24/0.38=24/38≈0.632\Pr(a \mid b) = 0.24 / 0.38 = 24/38 \approx 0.632다. 확률로 나누나 개수로 나누나 100이 약분되어 값이 같고, 두 칸의 비율 24 : 14도 그대로다.

그림 1이 이 과정이다. 100칸 중 링크 없는 62칸을 버리면 38칸이 남고, 그 38칸을 넓이 1로 다시 재면 스팸 칸의 몫이 0.632가 된다. 조건 없이 잰 Pr⁡(a)=30/100=0.30\Pr(a) = 30/100 = 0.30보다 크다. 링크가 있다는 조건이 스팸 쪽 몫을 키웠다.

메일 100통을 한 통에 한 칸으로 그린 격자. 위 세 줄 30칸이 스팸 a이고, 굵은 테두리 안 38칸이 링크 있는 메일 b다(왼쪽). 조건 b를 걸면 테두리 밖 62칸을 버리고(가운데), 남은 38칸을 넓이 1로 다시 재면 스팸의 몫이 24/38 ≈ 0.632가 된다(오른쪽).
그림 1 메일 100통을 한 통에 한 칸으로 그린 격자. 위 세 줄 30칸이 스팸 aa이고, 굵은 테두리 안 38칸이 링크 있는 메일 bb다(왼쪽). 조건 bb를 걸면 테두리 밖 62칸을 버리고(가운데), 남은 38칸을 넓이 1로 다시 재면 스팸의 몫이 24/38≈0.63224/38 \approx 0.632가 된다(오른쪽). figures/condition_grid.py
핵심

조건부 확률은 조건이 맞는 경우만 남기고, 그 안의 비율은 그대로 둔 채 합이 다시 1이 되게 분모를 바꾼 확률이다.

조건부 확률도 합이 1인 분포다 — 식 (2)의 분자를 더하면

조건 bb를 고정하고 aa와 ¬a\lnot a에 대해 식 (2)를 더한다. aa와 ¬a\lnot a는 겹치지 않고 둘을 합치면 빠짐없으므로, 두 분자를 더하면 bb가 일어나는 경우 전체인 Pr⁡(b)\Pr(b)다.

Pr⁡(a∣b)+Pr⁡(¬a∣b)=Pr⁡(a,b)+Pr⁡(¬a,b)Pr⁡(b)=Pr⁡(b)Pr⁡(b)=1(3)\Pr(a \mid b) + \Pr(\lnot a \mid b) = \frac{\Pr(a, b) + \Pr(\lnot a, b)}{\Pr(b)} = \frac{\Pr(b)}{\Pr(b)} = 1 \tag{3}

표에서는 24/38+14/38=38/38=124/38 + 14/38 = 38/38 = 1이다. 두 값이 모두 0 이상이고 합이 1이므로, 조건부 분포 Pr⁡(⋅∣b)=(24/38, 14/38)\Pr(\cdot \mid b) = (24/38,\ 14/38)은 식 (1)을 만족한다. 반대로 조건이 서로 다른 Pr⁡(a∣b)+Pr⁡(a∣¬b)=24/38+6/62≈0.728\Pr(a \mid b) + \Pr(a \mid \lnot b) = 24/38 + 6/62 \approx 0.728은 1이 아니다.

P(b)가 0이면 조건부 확률은 어떻게 돼?

Pr⁡(b)=0\Pr(b) = 0이면 조건부 확률 Pr⁡(a∣b)\Pr(a \mid b)는 정의되지 않는다. 식 (2)의 분모가 0이라 나눌 수 없다. 메일 100통 중 링크 있는 메일이 0통이면 다시 잴 메일이 없어 Pr⁡(a∣b)\Pr(a \mid b) 자리가 0/00/0이다. 그래서 식 (2)에 Pr⁡(b)>0\Pr(b) > 0을 붙인다.

결합 확률은 한쪽 확률과 조건부 확률의 곱이다 (확률의 곱셈정리)

식 (2)의 양변에 Pr⁡(b)\Pr(b)를 곱하면 결합 확률이 한쪽 확률과 조건부 확률의 곱이 된다. 고등학교 교과서는 이것을 확률의 곱셈정리 P(A∩B)=P(A) P(B∣A)P(A \cap B) = P(A)\,P(B \mid A)로 쓴다. Pr⁡(a,b)\Pr(a, b)는 순서와 무관하므로 aa와 bb의 자리를 바꿔 쓸 수도 있어, 곱하는 방법이 두 가지다.

Pr⁡(a,b)=Pr⁡(b) Pr⁡(a∣b)=Pr⁡(a) Pr⁡(b∣a)(4)\Pr(a, b) = \Pr(b)\,\Pr(a \mid b) = \Pr(a)\,\Pr(b \mid a) \tag{4}

첫 꼴은 Pr⁡(b)>0\Pr(b) > 0, 둘째 꼴은 Pr⁡(a)>0\Pr(a) > 0일 때 쓴다. 표로 확인하면 0.38×24/38=0.240.38 \times 24/38 = 0.24이고 0.30×0.80=0.240.30 \times 0.80 = 0.24다. 두 꼴의 조건부 확률은 서로 다르지만, 곱하는 한쪽 확률도 0.38과 0.30으로 달라 결과가 같다. 식 (4)를 변수 셋 이상으로 넓힌 것이 확률의 연쇄 법칙이고, 두 꼴을 같다고 놓고 Pr⁡(b)\Pr(b)로 나눈 것이 베이즈 정리다.

행 합과 열 합은 한쪽만의 확률(주변 확률)이다. 스팸 행을 더한 0.24+0.06=0.300.24 + 0.06 = 0.30이 Pr⁡(a)\Pr(a), 링크 열을 더한 0.24+0.14=0.380.24 + 0.14 = 0.38이 Pr⁡(b)\Pr(b)다. 관심 없는 쪽을 이렇게 더해 없애는 일은 주변화에서 다룬다.

그림 2는 표 전체, 스팸 행, 링크 열을 각각 그 합으로 나눈 세 분포다. 100으로 나누면 결합 분포, 30으로 나누면 Pr⁡(⋅∣a)\Pr(\cdot \mid a), 38로 나누면 Pr⁡(⋅∣b)\Pr(\cdot \mid b)이고, 셋 다 칸을 더하면 1이다.

분할표 전체, 스팸 행, 링크 열을 각각 그 합(100·30·38)으로 나눈 세 분포. 강조한 막대는 모두 스팸이면서 링크 있는 24통이다. 왼쪽은 결합 확률 네 칸 0.24·0.06·0.14·0.56, 가운데는 Pr(b | a) = 0.80과 Pr(lnot b | a) = 0.20, 오른쪽은 Pr(a | b) ≈ 0.632와 Pr(lnot a | b) ≈ 0.368이다. 셋 다 합이 1이다.
그림 2 분할표 전체, 스팸 행, 링크 열을 각각 그 합(100·30·38)으로 나눈 세 분포. 강조한 막대는 모두 스팸이면서 링크 있는 24통이다. 왼쪽은 결합 확률 네 칸 0.24·0.06·0.14·0.56, 가운데는 Pr⁡(b∣a)=0.80\Pr(b \mid a) = 0.80과 Pr⁡(¬b∣a)=0.20\Pr(\lnot b \mid a) = 0.20, 오른쪽은 Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632와 Pr⁡(¬a∣b)≈0.368\Pr(\lnot a \mid b) \approx 0.368이다. 셋 다 합이 1이다. figures/row_distributions.py

P(A|B)와 P(B|A)는 같아?

아니다, 보통 다르다. 식 (4)에서 Pr⁡(a∣b)/Pr⁡(b∣a)=Pr⁡(a)/Pr⁡(b)\Pr(a \mid b) / \Pr(b \mid a) = \Pr(a) / \Pr(b)라, Pr⁡(a,b)>0\Pr(a, b) > 0이면 두 사건의 확률이 같을 때만 같다. 메일 표에서는 링크 메일 중 스팸 24/38≈0.63224/38 \approx 0.632와 스팸 중 링크 메일 24/30=0.8024/30 = 0.80으로 다르고, 그 비 0.789는 0.30/0.380.30 / 0.38과 같다. '링크 있음'을 스팸이라는 예측으로 보면 앞의 것이 정밀도, 뒤의 것이 재현율이다.

결합 확률이랑 조건부 확률 차이가 뭐야?

결합 확률과 조건부 확률은 분모가 다르다. 결합 확률 Pr⁡(a,b)=0.24\Pr(a, b) = 0.24는 메일 100통 전체로 나눈 몫이고, 조건부 확률 Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632는 링크 있는 38통으로 나눈 몫이다. 분자는 둘 다 24통이다. 그래서 결합 확률은 조건부 확률에 Pr⁡(b)=0.38\Pr(b) = 0.38을 곱한 값이다(식 (4)).

독립이면 조건을 걸어도 확률이 그대로다

두 사건이 독립이라는 것은 결합 확률이 두 확률의 곱이라는 뜻이다(식 (5) 왼쪽). Pr⁡(a)>0\Pr(a) > 0이면 이것은 '조건 aa를 걸어도 bb의 확률이 그대로'라는 말과 같다. 독립이 아닌 두 사건은 종속이라 한다.

Pr⁡(a,b)=Pr⁡(a) Pr⁡(b)  ⟺  Pr⁡(b∣a)=Pr⁡(b)(Pr⁡(a)>0)(5)\Pr(a, b) = \Pr(a)\,\Pr(b) \iff \Pr(b \mid a) = \Pr(b) \qquad (\Pr(a) > 0) \tag{5}

식 (5)의   ⟺  \iff는 왼쪽이 성립하면 오른쪽도, 오른쪽이 성립하면 왼쪽도 성립한다는 뜻이다. 왼쪽을 Pr⁡(a)\Pr(a)로 나누면 aa를 조건으로 쓴 식 (2), 곧 Pr⁡(b∣a)=Pr⁡(a,b)/Pr⁡(a)\Pr(b \mid a) = \Pr(a, b) / \Pr(a)에 따라 오른쪽이 된다. 오른쪽을 식 (4) 둘째 꼴의 Pr⁡(b∣a)\Pr(b \mid a) 자리에 넣으면 왼쪽이 된다.

메일 표는 독립이 아니다. Pr⁡(a)Pr⁡(b)=0.30×0.38=0.114\Pr(a)\Pr(b) = 0.30 \times 0.38 = 0.114인데 Pr⁡(a,b)=0.24\Pr(a, b) = 0.24다. 조건으로 보아도 Pr⁡(b∣a)=0.80\Pr(b \mid a) = 0.80이 Pr⁡(b)=0.38\Pr(b) = 0.38의 두 배를 넘는다. 스팸이라는 사실이 링크가 있을 확률을 키운다.

언어 모델에서도 둘이 갈린다. 같은 프롬프트로 응답을 여러 번 따로 뽑으면, 프롬프트를 조건으로 놓았을 때 응답끼리 독립이다.44 조건 아래의 독립(조건부 독립)은 식 (5) 왼쪽에 나오는 확률 셋에 프롬프트라는 조건을 붙인 것이다. Pr⁡(응답1,응답2∣프롬프트)=Pr⁡(응답1∣프롬프트) Pr⁡(응답2∣프롬프트)\Pr(\text{응답}_1, \text{응답}_2 \mid \text{프롬프트}) = \Pr(\text{응답}_1 \mid \text{프롬프트})\,\Pr(\text{응답}_2 \mid \text{프롬프트}). 반면 한 문장 안의 토큰은 보통 독립으로 두지 않는다. 언어 모델은 두 번째 토큰의 분포 Pr⁡(⋅∣x1)\Pr(\cdot \mid x_1)이 첫 토큰 x1x_1에 따라 달라질 수 있게 만든 모델이다.

두 사건이 독립인지 어떻게 확인해?

결합 확률이 두 확률의 곱과 같은지, 또는 조건을 건 확률이 조건 없는 확률과 같은지 본다. 식 (5)에 메일 표를 넣으면 0.114≠0.240.114 \ne 0.24이고 0.80≠0.380.80 \ne 0.38이라 독립이 아니다. 행 합 30과 열 합 38을 그대로 두고 독립이 되려면 스팸이면서 링크 있는 메일이 100×0.114=11.4100 \times 0.114 = 11.4통이어야 한다. 정수가 아니니 이 합계로는 독립인 표를 만들 수 없다.

배반 사건은 독립이야?

배반 사건은 두 사건의 확률이 모두 0보다 크면 독립이 아니다. 배반(동시에 일어날 수 없음)이면 Pr⁡(a,b)=0\Pr(a, b) = 0인데, 식 (5)의 곱 Pr⁡(a)Pr⁡(b)\Pr(a)\Pr(b)는 0보다 크기 때문이다. 표에서 스팸 aa와 정상 ¬a\lnot a가 배반이고, Pr⁡(a,¬a)=0\Pr(a, \lnot a) = 0이지만 Pr⁡(a)Pr⁡(¬a)=0.3×0.7=0.21\Pr(a)\Pr(\lnot a) = 0.3 \times 0.7 = 0.21이다. 한쪽이 일어나면 다른 쪽은 절대 일어나지 않으니 오히려 강하게 얽혀 있다.

조건부 확률의 흔한 오해

  • Pr⁡(a∣b)\Pr(a \mid b)와 Pr⁡(b∣a)\Pr(b \mid a)는 같다 — 둘의 비가 Pr⁡(a)/Pr⁡(b)\Pr(a) / \Pr(b)라, 두 사건의 확률이 다르면 다르다. 메일 표에서는 분모가 조건 쪽의 개수 38과 30이라 0.632와 0.80으로 갈린다.
  • 두 사건이 함께 일어날 확률이 그중 한 사건의 확률보다 클 수 있다 — 식 (4)에서 Pr⁡(a,b)=Pr⁡(a)Pr⁡(b∣a)\Pr(a, b) = \Pr(a)\Pr(b \mid a)이고 Pr⁡(b∣a)≤1\Pr(b \mid a) \le 1이라, 결합 확률은 Pr⁡(a)\Pr(a)를 넘지 못한다. 표에서도 0.24≤0.300.24 \le 0.30이고 0.24≤0.380.24 \le 0.38이다.
  • 조건이 일어날 확률이 0이면 조건부 확률도 0이다 — 식 (2)의 분모가 0이라 값이 정의되지 않는다. scikit-learn의 precision_score가 예측 양성이 0개일 때 경고와 함께 0을 돌려주는 것도(zero_division 기본값) 계산한 값이 아니라 정해 둔 약속이다.
  • 배반이면 독립이다 — 두 사건의 확률이 모두 0보다 크면, 배반일 때 결합 확률은 0이고 두 확률의 곱은 0보다 커서 식 (5)가 깨진다. Pr⁡(a,¬a)=0\Pr(a, \lnot a) = 0인데 Pr⁡(a)Pr⁡(¬a)=0.21\Pr(a)\Pr(\lnot a) = 0.21이다.

조건부 확률은 AI에서 어디에 쓰이나

언어 모델이 토큰을 하나씩 만드는 매 단계가 조건부 분포다. 앞의 토큰 x<ix_{<i}를 조건으로 어휘의 ∣V∣\lvert V \rvert칸에 확률을 매긴 벡터 Pr⁡(⋅∣x<i)\Pr(\cdot \mid x_{<i})를 내고, 그중 정답 칸의 값이 Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i})다. 학습은 이 값을 키우는 쪽으로 파라미터를 고친다. 정답을 원-핫으로 두고 두 분포를 비교하는 손실이 교차엔트로피(예정)이고, 그 손실을 경사하강법이나 모멘텀으로 줄인다.

이 페이지코드 (PyTorch · Hugging Face · scikit-learn)
범주형 분포 p\mathbf{p} (∣V∣\lvert V \rvert칸)torch.nn.functional.softmax(logits, dim=-1)(torch.softmax와 같다)의 결과. 마지막 차원의 칸이 0 이상이고 합이 1이다
Pr⁡(⋅∣x<i)\Pr(\cdot \mid x_{<i})input_ids가 x1,…,xi−1x_1, \dots, x_{i-1}일 때 model(input_ids).logits[:, -1, :]에 softmax를 씌운 벡터. 패딩 없는 한 문장 기준, 마지막 위치에서 본 다음 토큰 분포. i=1i = 1이면 보통 문장 시작(BOS) 토큰 하나를 넣는다
원-핫 정답torch.nn.functional.one_hot(target, num_classes). 정수(int64)를 돌려주므로 확률 자리에 쓰려면 .float()
정답 칸의 확률을 키우는 손실torch.nn.functional.cross_entropy(logits, target). softmax 전 로짓을 받아 안에서 log-softmax(소프트맥스의 로그)를 하고, target은 정답 칸 번호(정수)나 칸마다의 확률(실수, 1.10부터)이다. 언어 모델은 xi−1x_{i-1} 자리의 로짓이 xix_i를 맞히므로 logits[:, :-1]과 input_ids[:, 1:]을 짝짓고, transpose(1, 2)로 칸 차원을 둘째로 옮긴다. Hugging Face 모델은 labels=input_ids를 넘기면 안에서 한 칸 민다
정밀도 Pr⁡(a∣b)\Pr(a \mid b), 재현율 Pr⁡(b∣a)\Pr(b \mid a)sklearn.metrics.precision_score, recall_score. '링크 있음'을 스팸 예측으로 보면 0.632와 0.80
조건 아래 독립인 응답model.generate(..., do_sample=True, num_return_sequences=3) — 같은 프롬프트에서 따로 뽑은 응답 셋

generate가 뽑는 분포는 둘째 행의 분포 그대로가 아닐 수 있다.55 Transformers의 생성 설정 기본값은 top_k=50이다(모델 설정이 덮어쓸 수 있다). 그러면 확률이 큰 50칸만 남기고 합이 다시 1이 되게 나눈 분포에서 뽑는다. 식 (2)의 분모 바꾸기와 같은 계산이다.

언어 모델의 다음 토큰 확률도 조건부 확률이야?

그렇다. 앞의 토큰 x<ix_{<i}를 조건으로 한 Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i})이고, 칸 전체 Pr⁡(⋅∣x<i)\Pr(\cdot \mid x_{<i})는 어휘 크기만큼 칸이 있는 범주형 분포다. 작은 언어 모델에서 "나는" 다음에 "밥을"이 올 확률은 0.4이고, 그 자리의 여섯 칸을 다 더하면 1이다. 앞 문장이 바뀌면 조건이 바뀌고, 언어 모델은 조건에 따라 이 분포가 달라질 수 있게 만든 모델이다.

코드로 확인하기

분할표를 NumPy 배열로 두고, 전체로 나누면 결합 확률, 행이나 열의 합으로 나누면 조건부 확률이다. 기호를 누르면 수식과 코드에서 같은 양이 함께 강조된다.

수식
Pr⁡(a∣b)=Pr⁡(a,b)Pr⁡(b)(2)\sym{a_given_b}{\Pr(a \mid b)} = \frac{\sym{pr_ab}{\Pr(a, b)}}{\sym{pr_b}{\Pr(b)}} \tag{2}
코드 figures/conditional.py
import numpy as np

table = np.array([[24,  6],     # 행: a 스팸, ¬a 정상
                  [14, 56]])    # 열: b 링크 있음, ¬b 링크 없음
joint = table / table.sum()                       # 결합 확률 네 칸. 식 (1): 합이 1
pr_ab = joint[0, 0]                               # Pr(a, b)
pr_a, pr_b = joint[0].sum(), joint[:, 0].sum()    # 행 합 Pr(a), 열 합 Pr(b)
a_given_b = pr_ab / pr_b                          # 식 (2): 분모가 Pr(b)
b_given_a = pr_ab / pr_a                          # 식 (2)를 a 조건으로
rows = table / table.sum(axis=1, keepdims=True)   # 행마다 그 행의 합으로 나누면 행마다 분포
print("joint =", joint.ravel(), " sum =", round(joint.sum(), 12))
print(f"Pr(a|b) = {a_given_b:.3f}   Pr(b|a) = {b_given_a:.3f}")
print("rows =", rows.ravel(), " row sums =", rows.sum(axis=1))
print(f"Pr(a)Pr(b) = {pr_a * pr_b:.3f}   Pr(a,b) = {pr_ab:.2f}")   # 식 (5): 같으면 독립
$ python conditional.py
joint = [0.24 0.06 0.14 0.56]  sum = 1.0
Pr(a|b) = 0.632   Pr(b|a) = 0.800
rows = [0.8 0.2 0.2 0.8]  row sums = [1. 1.]
Pr(a)Pr(b) = 0.114   Pr(a,b) = 0.24

직접 해보기

  1. 표에서 Pr⁡(¬b∣a)\Pr(\lnot b \mid a)와 Pr⁡(¬a∣b)\Pr(\lnot a \mid b)를 구하라. 각각 무엇과 더하면 1이 되나?
  2. 표에서 Pr⁡(b∣¬a)\Pr(b \mid \lnot a)를 구하고, Pr⁡(a)Pr⁡(b∣a)+Pr⁡(¬a)Pr⁡(b∣¬a)\Pr(a)\Pr(b \mid a) + \Pr(\lnot a)\Pr(b \mid \lnot a)가 Pr⁡(b)\Pr(b)와 같은지 확인하라.
답
  1. Pr⁡(¬b∣a)=6/30=0.20\Pr(\lnot b \mid a) = 6/30 = 0.20이고 Pr⁡(b∣a)=0.80\Pr(b \mid a) = 0.80과 더하면 1이다. Pr⁡(¬a∣b)=14/38≈0.368\Pr(\lnot a \mid b) = 14/38 \approx 0.368이고 Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632와 더하면 1이다. 같은 조건 아래의 확률끼리 더하면 1이다(식 (3)).
  2. Pr⁡(b∣¬a)=14/70=0.20\Pr(b \mid \lnot a) = 14/70 = 0.20이다. 0.30×0.80+0.70×0.20=0.24+0.14=0.380.30 \times 0.80 + 0.70 \times 0.20 = 0.24 + 0.14 = 0.38로 Pr⁡(b)\Pr(b)와 같다. 식 (4)로 링크 열의 두 칸을 따로 구해 더한 것이고, 이 계산을 주변화라 한다.

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.3절이 이산 확률분포를 합이 1인 질량 함수로, 3.5절이 조건부 확률을, 3.7절이 독립과 조건부 독립을 정의한다. '조건을 걸면 왜 분모가 바뀌나' §와 '독립이면 조건을 걸어도 확률이 그대로다' §, 흔한 오해의 셋째 줄이 기댄다.
  • Pattern Recognition and Machine Learning, 1.2절 Probability Theory — C. M. Bishop, 2006. 두 변수의 칸 수를 세는 표에서 곱의 규칙과 합의 규칙을 끌어낸다. '결합 확률은 한쪽 확률과 조건부 확률의 곱이다 (확률의 곱셈정리)' §가 기댄다.
  • torch.nn.functional.softmax — PyTorch 공식 문서. 지정한 차원의 원소가 0과 1 사이이고 합이 1이 되게 바꾼다고 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 첫 행이 기댄다.
  • torch.nn.functional.cross_entropy — PyTorch 공식 문서. 입력이 정규화하지 않은 로짓이고, 정답으로 칸 번호나 칸마다의 확률을 받으며, 칸 차원이 둘째라는 모양 규칙을 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 원-핫 행이 기댄다.
  • Generation (GenerationConfig) — Hugging Face Transformers 공식 문서. num_return_sequences를 입력마다 따로 계산해 돌려주는 시퀀스 수로, top_k의 기본값을 50으로 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 마지막 행과 그 아래 메모가 기댄다.
  • Foundations of Large Language Models, 2.1절 A Brief Introduction to LLMs — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 37–56. 식 (2.1) 바로 뒤에서, 신경망이 앞 토큰들을 받아 어휘 집합 VV 위의 분포 Pr⁡(⋅∣x<i)\Pr(\cdot \mid x_{<i})를 내고 다음 토큰의 확률은 그 분포에서 그 토큰 칸의 값이라고 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "조건을 걸면 왜 분모가 바뀌나"
  • 00:30 메일함 필터 비유, 분할표 판서
  • 01:30 식 (1) — 표의 한 행을 분포로, 원-핫 (0,1,0,0,0,0)(0, 1, 0, 0, 0, 0)
  • 03:00 그림 1 — 100칸에서 38칸으로, 비율은 그대로, 식 (2)와 24/38≈0.63224/38 \approx 0.632
  • 04:30 식 (4)와 그림 2 — 분자 24, 분모 100·30·38, 정밀도와 재현율
  • 06:00 식 (5) — 0.114≠0.240.114 \ne 0.24, 배반과 독립
  • 07:30 언어 모델의 다음 토큰 분포 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 5, 그림 2, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15·Transformers 문서 확인, Wikidata Q327069, 선수에 시그마 추가, 벡터·시그마·소프트맥스 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 연쇄 법칙·샘플링 페이지 링크 연결
  4. 2026-11-05 · 주변화·베이즈 정리 페이지 링크 연결
  5. 2026-11-05 · 남은 질문(연속 변수의 조건부 확률 밀도)을 확률분포 페이지(예정)로 넘김
  6. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  7. 2026-11-05 · 직접 검토 — 완성으로 올림
  8. 2026-11-13 · 독자 패널 리뷰 반영 — 제목을 조건부 확률로, 세로 막대 메모의 '어느 것도 절댓값이 아니다'를 고침, 조건부 확률의 정의 문장과 교과서 표기(조건부확률·곱셈정리·종속) 연결 (에이전트 수정, 다시 검토 전)
  9. 2026-11-16 · 확률·통계 교과 글 작성에 맞춰 예정 안내를 실제 개념 링크로 갱신 (에이전트 수정)