확률·통계베이즈 정리#013

베이즈 정리

Bayes' Theorem

베이즈 정리는 P(B|A)를 알 때 조건을 뒤집어 P(A|B)를 구하는 공식이다. 사기 거래가 1%, 사기일 때 경고 90%, 정상일 때 경고 9%면 경고가 뜬 거래가 사기일 확률은 약 9.2%다. 사전 확률·가능도(우도)·사후 확률이 각각 어느 숫자인지 따라간다.

주인공 기호
Pr(a | b)
읽는 시간
약 12분
선수 개념
조건부 확률주변화최댓값과 argmax

직관 — 사기 경고가 떠도 사기가 아닐 때가 많은 까닭

직관

카드사의 '사기 의심' 경고는 진짜 사기의 대부분을 잡아낸다. 그래도 경고가 떴다고 그 거래가 사기일 가능성이 높다고 할 수는 없다. 사기는 드물고, 해외 결제처럼 경고가 뜨는 정상 거래가 훨씬 많기 때문이다.

'사기 거래다'가 사건 aa, '경고가 떴다'가 사건 bb다. 거래가 사기일 확률이 사전 확률, 사기일 때 경고가 뜰 확률이 우도(가능도), 경고가 떴을 때 사기일 확률이 사후 확률이다. 사기가 아닌데 뜨는 경고가 오경보이고, 사기든 아니든 경고가 뜰 확률 전체가 증거다.11 사전학습(pre-training)·사후 학습(post-training)의 '사전·사후'와는 다른 말이다. 여기서는 관찰 bb를 보기 전과 본 뒤를 뜻한다.

스팸 분류기(나이브 베이즈)는 이렇게 조건을 뒤집은 확률로 답을 고른다. 이 페이지는 사기 1%, 경고 90%, 오경보 9%라는 숫자로 위의 함정을 따라간다.

베이즈 정리 공식은 가능도(우도)와 사전 확률로 조건을 뒤집는다

베이즈 정리는 Pr⁡(b∣a)\Pr(b \mid a)를 알 때 거꾸로 Pr⁡(a∣b)\Pr(a \mid b)를 구하는 식이다. 우도에 사전 확률을 곱하고 증거로 나누면 사후 확률이 된다. 베이즈 법칙, 베이즈 규칙(Bayes' rule)이라고도 한다.

Pr⁡(a∣b)=Pr⁡(b∣a) Pr⁡(a)Pr⁡(b),Pr⁡(b)>0(1)\Pr(a \mid b) = \frac{\Pr(b \mid a)\,\Pr(a)}{\Pr(b)}, \qquad \Pr(b) > 0 \tag{1}

분모의 증거 Pr⁡(b)\Pr(b)는 주변화로 구한다. aa일 때와 aa가 아닐 때 bb가 나오는 몫을 더하는 것이다.

Pr⁡(b)=Pr⁡(b∣a) Pr⁡(a)+Pr⁡(b∣¬a) Pr⁡(¬a)(2)\Pr(b) = \Pr(b \mid a)\,\Pr(a) + \Pr(b \mid \lnot a)\,\Pr(\lnot a) \tag{2}
정의
기호이름원어뜻
a,ba, b사건·값event, value이 페이지에서 aa는 '사기 거래다', bb는 '경고가 떴다'. 메일 예시에서는 '스팸이다', '링크가 있다'
¬a\lnot a여사건complementaa가 아닌 것. 정상 거래, 정상 메일
Pr⁡(a)\Pr(a)사전 확률prior probabilitybb를 보기 전에 알던 aa의 확률
Pr⁡(b∣a)\Pr(b \mid a)우도likelihoodaa일 때 bb가 나올 확률. 가능도라고도 한다. 세로 막대 ∣\mid 오른쪽이 조건이다
Pr⁡(b∣¬a)\Pr(b \mid \lnot a)오경보 확률false alarm rateaa가 아닌데 bb가 나올 확률. ¬a\lnot a 쪽의 우도이기도 하다. 검사에서는 위양성률(false positive rate)
Pr⁡(a∣b)\Pr(a \mid b)사후 확률posterior probabilitybb를 본 뒤의 aa의 확률. 이 페이지의 주인공
Pr⁡(b)\Pr(b)증거evidencebb가 나올 확률 전체. 식 (2)의 주변화로 구한다. 주변 우도(marginal likelihood)라고도 한다
Pr⁡(a,b)\Pr(a, b)결합 확률joint probabilityaa와 bb가 함께 일어날 확률

교과서와 다른 책은 대개 P(A∣B)=P(B∣A) P(A)/P(B)P(A \mid B) = P(B \mid A)\,P(A) / P(B)로 쓴다. Pr⁡\Pr를 PP로, 소문자를 대문자로 바꾼 같은 식이다.22 Goodfellow 외는 PP와 pp로, Bishop은 pp로 쓴다. 이 사이트는 확률을 모두 Pr⁡\Pr로 쓴다.

Pr⁡(b∣a)\Pr(b \mid a)와 Pr⁡(a∣b)\Pr(a \mid b)는 세로 막대 양쪽이 바뀌었을 뿐이지만 다른 값이다(조건부 확률 페이지). 기호와 예시는 확률의 기초 허브를 따른다.

베이즈 정리 공식의 유도 — 확률의 곱셈정리 두 꼴을 같다고 놓기

결합 확률 Pr⁡(a,b)\Pr(a, b)는 어느 쪽을 먼저 조건으로 두든 같은 값이다(확률의 곱셈정리). aa를 먼저 두면 Pr⁡(a) Pr⁡(b∣a)\Pr(a)\,\Pr(b \mid a)이고, bb를 먼저 두면 Pr⁡(b) Pr⁡(a∣b)\Pr(b)\,\Pr(a \mid b)다.

Pr⁡(a) Pr⁡(b∣a)=Pr⁡(a,b)=Pr⁡(b) Pr⁡(a∣b)\Pr(a)\,\Pr(b \mid a) = \Pr(a, b) = \Pr(b)\,\Pr(a \mid b)

Pr⁡(b)>0\Pr(b) > 0이면 양쪽을 Pr⁡(b)\Pr(b)로 나눠 식 (1)이 된다. 허브의 메일 100통(스팸 30통, 링크 메일 38통, 둘 다인 메일 24통)에서는 0.3×0.8=0.240.3 \times 0.8 = 0.24이고, 0.38×24380.38 \times \tfrac{24}{38}도 0.24다.

우도가 90%인데 사후 확률은 왜 9%밖에 안 되나

사기 거래는 1%로 드물고 정상 거래가 99배 많아서, 9%의 오경보만으로도 경고의 대부분이 정상 거래이기 때문이다. 사기일 때 경고가 뜰 확률(우도)이 0.9여도, 경고가 뜬 거래가 사기일 확률(사후)은 약 0.092다.

숫자로 따라가 보자. 사기 거래가 1%이고, 사기면 90%, 정상이면 9%의 확률로 경고가 뜬다. 식 (2)로 증거는 Pr⁡(b)=0.9×0.01+0.09×0.99=0.009+0.0891=0.0981\Pr(b) = 0.9 \times 0.01 + 0.09 \times 0.99 = 0.009 + 0.0891 = 0.0981이다. 식 (1)로 사후 확률은 Pr⁡(a∣b)=0.009/0.0981≈0.092\Pr(a \mid b) = 0.009 / 0.0981 \approx 0.092다.

그림 1의 나무 그림(수형도)이 이 계산의 순서다. 먼저 사기·정상으로 가르고, 가지마다 경고 확률을 곱하면 끝에 결합 확률 0.009와 0.0891이 나온다. 경고가 뜬 두 끝을 더한 것이 증거이고, 그중 사기 쪽 몫이 사후 확률이다.

사기 예시의 나무 그림. 첫 갈래는 사전 확률 Pr(a) = 0.01과 Pr(lnot a) = 0.99, 둘째 갈래는 각 가지에서 경고(b)가 뜰 확률이다. 경로의 두 확률을 곱하면 끝의 결합 확률이 되고, 경고가 뜬 두 끝 0.009와 0.0891의 합이 Pr(b) = 0.0981이다.
그림 1 사기 예시의 나무 그림. 첫 갈래는 사전 확률 Pr⁡(a)=0.01\Pr(a) = 0.01과 Pr⁡(¬a)=0.99\Pr(\lnot a) = 0.99, 둘째 갈래는 각 가지에서 경고(bb)가 뜰 확률이다. 경로의 두 확률을 곱하면 끝의 결합 확률이 되고, 경고가 뜬 두 끝 0.009와 0.0891의 합이 Pr⁡(b)=0.0981\Pr(b) = 0.0981이다. figures/bayes_tree.py

그림 2는 같은 계산을 거래 10,000건으로 센 것이다. 사기 100건 중 90건, 정상 9,900건 중 891건에 경고가 뜬다. 경고 981건 가운데 사기는 90건뿐이라 90/981≈0.09290 / 981 \approx 0.092이고, 나머지 891건(약 91%)은 오경보다.

거래 10,000건을 칸 하나에 한 건씩 놓은 격자. 사기 거래(a)는 왼쪽 한 열의 100칸이고 그중 90칸에 경고(b)가 떴다. 정상 거래(lnot a) 9,900칸 중에서는 위쪽 띠의 891칸에 경고가 떴다. 경고가 뜬 981칸 가운데 사기는 90칸이라 Pr(a | b) ≈ 0.092다.
그림 2 거래 10,000건을 칸 하나에 한 건씩 놓은 격자. 사기 거래(aa)는 왼쪽 한 열의 100칸이고 그중 90칸에 경고(bb)가 떴다. 정상 거래(¬a\lnot a) 9,900칸 중에서는 위쪽 띠의 891칸에 경고가 떴다. 경고가 뜬 981칸 가운데 사기는 90칸이라 Pr⁡(a∣b)≈0.092\Pr(a \mid b) \approx 0.092다. figures/frequency_grid.py

우도만 보고 사전 확률(기저율)을 빠뜨리는 실수를 기저율 무시(base rate neglect)라 한다. 확률 대신 이렇게 건수로 쓰는 방식을 자연 빈도라 한다. Gigerenzer와 Hoffrage는 같은 문제를 확률보다 자연 빈도로 냈을 때 베이즈식 답을 내는 사람이 늘었다고 보고했다(더 읽기).

핵심

베이즈 정리에서 사후 확률은 우도 하나로 정해지지 않고, 우도 × 사전 확률이 증거에서 차지하는 몫이다. 사기가 1%로 드물면 경고의 대부분이 오경보라, 우도 0.9도 사후 확률 0.092가 된다.

검사가 양성이면 병에 걸렸을 확률도 같은 계산이야?

그렇다, 질병 검사의 양성 판정은 낱말만 바꾼 같은 계산이다. 사기일 때 경고가 뜰 확률 0.9가 검사의 민감도, 정상인데 경고가 뜰 확률 0.09가 위양성률(1 − 특이도), 사기 비율 1%가 유병률에 해당한다. 그러면 양성인 사람이 실제 환자일 확률(양성 예측도)은 0.009/0.0981≈0.0920.009 / 0.0981 \approx 0.092다.

오경보가 줄면 베이즈 정리의 사후 확률은 얼마나 오르나

사전 확률 1%에서 오경보 확률을 0.09에서 0.001로 줄이면 사후 확률은 0.092에서 약 0.90으로 오른다. 정상 거래 9,900건의 오경보가 9,900×0.001≈109{,}900 \times 0.001 \approx 10건뿐이라 90/(90+9.9)≈0.9090 / (90 + 9.9) \approx 0.90이다.

사후 확률이 0.5를 넘는지는 사기 몫과 오경보 몫 중 어느 쪽이 많은지로 정해진다. 오경보 0.09에서는 891 > 90이라 0.5보다 작다. 사전 확률 1%를 그대로 두고 오경보 확률만 0.001에서 0.2까지 바꾸면 그림 3의 곡선이 된다. 우도를 0.99로 올린 파선은 우도 0.9의 곡선과 거의 겹친다.

사전 확률 Pr(a) = 0.01에서 오경보 확률 Pr(b | lnot a)만 0.001부터 0.2까지 바꿀 때의 사후 확률. 가로축은 로그 눈금이다. 강조한 선은 우도 0.9, 파선은 우도 0.99다. 오경보 0.09에서 두 선은 0.092와 0.1이고, 우도 0.9의 선은 오경보 0.009에서 약 0.503, 0.001에서 약 0.90이다.
그림 3 사전 확률 Pr⁡(a)=0.01\Pr(a) = 0.01에서 오경보 확률 Pr⁡(b∣¬a)\Pr(b \mid \lnot a)만 0.001부터 0.2까지 바꿀 때의 사후 확률. 가로축은 로그 눈금이다. 강조한 선은 우도 0.9, 파선은 우도 0.99다. 오경보 0.09에서 두 선은 0.092와 0.1이고, 우도 0.9의 선은 오경보 0.009에서 약 0.503, 0.001에서 약 0.90이다. figures/false_alarm_curve.py

베이즈 정리로 보면 민감도를 높이는 것과 오경보를 줄이는 것 중 무엇이 더 효과적이야?

사기처럼 드문 사건에서는 오경보를 줄이는 쪽이 사후 확률을 훨씬 크게 올린다. 사전 확률 1%에서 우도(민감도)를 0.9에서 0.99로 올리면 사후 확률은 0.092에서 0.1로 조금 오르지만, 오경보 확률을 0.09에서 0.009로 줄이면 약 0.503이 된다(그림 3). 경고의 대부분이 정상 거래 9,900건에서 나오기 때문이다.

메일 100통 표에서도 베이즈 정리는 직접 센 값과 같다

확률의 기초 허브의 메일 100통에 같은 식을 쓰면 표에서 바로 센 값이 나온다. 스팸(aa)이 30통이고, 스팸의 80%와 정상 메일 70통의 20%에 링크(bb)가 있다.

식 (2)로 Pr⁡(b)=0.8×0.3+0.2×0.7=0.38\Pr(b) = 0.8 \times 0.3 + 0.2 \times 0.7 = 0.38이다. 식 (1)로 Pr⁡(a∣b)=0.8×0.3/0.38≈0.632\Pr(a \mid b) = 0.8 \times 0.3 / 0.38 \approx 0.632이고, 링크 메일 38통 중 스팸 24통을 센 24/3824/38과 같다. 스팸에 링크가 있을 확률은 0.8인데, 링크가 있는 메일이 스팸일 확률은 0.632다.

가능도(우도)와 확률은 뭐가 달라?

우도(가능도) Pr⁡(b∣a)\Pr(b \mid a)는 관찰한 bb를 고정하고 aa를 바꿔 가며 보는 값이라, aa에 대해 더한 합이 1일 이유가 없다. 사기 예시의 우도는 Pr⁡(b∣a)=0.9\Pr(b \mid a) = 0.9와 Pr⁡(b∣¬a)=0.09\Pr(b \mid \lnot a) = 0.09로 합이 0.99이고, 스팸 예시의 0.8+0.2=10.8 + 0.2 = 1은 우연이다. 같은 bb에서 aa에 대한 확률은 사후 확률이고, 사기 예시에서 0.092+0.908=10.092 + 0.908 = 1이다.

사전 확률이 바뀌면 사후 확률은 얼마나 바뀌나

우도를 그대로 두고 사전 확률만 바꿔도 사후 확률은 크게 움직인다. 우도 0.9·오경보 0.09에서 사전 확률을 0.001에서 0.5까지 바꾸면, 사후 확률은 약 0.0099에서 0.909까지 오른다(그림 4).

우도 Pr(b | a)와 오경보 확률 Pr(b | lnot a)를 고정하고 사전 확률 Pr(a)만 0.001에서 0.5까지 바꿀 때의 사후 확률 Pr(a | b). 가로축은 로그 눈금이다. 강조한 선은 사기 예시(0.9, 0.09), 회색 선은 스팸 예시(0.8, 0.2)이고, 점은 두 예시의 사전 확률 0.01과 0.3이다. 강조한 선은 사전 확률이 약 0.091을 넘어야 파선의 0.5를 넘고, 약 0.474에서 점선의 우도 0.9에 닿는다.
그림 4 우도 Pr⁡(b∣a)\Pr(b \mid a)와 오경보 확률 Pr⁡(b∣¬a)\Pr(b \mid \lnot a)를 고정하고 사전 확률 Pr⁡(a)\Pr(a)만 0.001에서 0.5까지 바꿀 때의 사후 확률 Pr⁡(a∣b)\Pr(a \mid b). 가로축은 로그 눈금이다. 강조한 선은 사기 예시(0.9, 0.09), 회색 선은 스팸 예시(0.8, 0.2)이고, 점은 두 예시의 사전 확률 0.01과 0.3이다. 강조한 선은 사전 확률이 약 0.091을 넘어야 파선의 0.5를 넘고, 약 0.474에서 점선의 우도 0.9에 닿는다. figures/posterior_curve.py

경고가 뜬 거래가 정상보다 사기일 가능성이 더 크려면, 곧 사후 확률이 0.5를 넘으려면 사전 확률이 1/11≈0.0911/11 \approx 0.091을 넘어야 한다. 사후 확률이 우도 0.9만큼 커지려면 사전 확률이 9/19≈0.4749/19 \approx 0.474여야 하고, 그보다 작은 사전 확률에서는 사후 확률이 우도보다 작다. 두 값은 아래 오즈 유도에서 나온다.

오즈로 보면 — 우도의 비가 사전 오즈를 몇 배로 키우나

오즈(odds)는 aa의 확률을 ¬a\lnot a의 확률로 나눈 비다. 오즈가 oo면 확률은 o/(1+o)o / (1 + o)다. 식 (1)을 aa와 ¬a\lnot a에 각각 쓰고 나누면 분모 Pr⁡(b)\Pr(b)가 지워진다.

Pr⁡(a∣b)Pr⁡(¬a∣b)=Pr⁡(b∣a)Pr⁡(b∣¬a)×Pr⁡(a)Pr⁡(¬a)\frac{\Pr(a \mid b)}{\Pr(\lnot a \mid b)} = \frac{\Pr(b \mid a)}{\Pr(b \mid \lnot a)} \times \frac{\Pr(a)}{\Pr(\lnot a)}

사기 예시에서 우도의 비는 0.9/0.09=100.9 / 0.09 = 10이고 사전 오즈는 0.01/0.99=1/990.01 / 0.99 = 1/99다. 사후 오즈는 10/9910/99이고, 사후 확률은 10/(10+99)=10/109≈0.09210 / (10 + 99) = 10/109 \approx 0.092다.

스팸 예시는 우도의 비가 0.8/0.2=40.8 / 0.2 = 4, 사전 오즈가 3/73/7이라 사후 오즈는 12/712/7, 사후 확률은 12/19≈0.63212/19 \approx 0.632다.

사후 확률 0.5는 사후 오즈 1이다. 사기 예시에서 그러려면 사전 오즈가 1/101/10, 곧 Pr⁡(a)=1/11\Pr(a) = 1/11이어야 한다. 사후 확률 0.9는 사후 오즈 9라서 사전 오즈가 0.90.9, 곧 Pr⁡(a)=0.9/1.9=9/19≈0.474\Pr(a) = 0.9 / 1.9 = 9/19 \approx 0.474다. 이 점에서는 Pr⁡(b)=0.9×919+0.09×1019=919\Pr(b) = 0.9 \times \tfrac{9}{19} + 0.09 \times \tfrac{10}{19} = \tfrac{9}{19}도 Pr⁡(a)\Pr(a)와 같다.

사전 확률을 모르면 베이즈 정리를 어떻게 쓰나?

사후 확률은 사전 확률에 따라 크게 달라서, 사전 확률 없이는 값 하나가 나오지 않는다. 같은 탐지기라도 사전 확률이 0.01이면 0.092, 0.3이면 약 0.811이다(그림 4). 그래서 비슷한 과거 데이터의 비율을 사전 확률로 쓰거나, 그럴듯한 범위를 넣어 사후 확률의 범위를 본다. 관찰이 더 들어오면 지금의 사후 확률이 다음 계산의 사전 확률이 된다(베이즈 갱신, 아래 펼침).

관찰이 쌓이면 — 베이즈 갱신

지금의 사후 확률을 다음 계산의 사전 확률로 쓰는 것을 베이즈 갱신이라 한다. 사기인지 아닌지가 정해지면 서로 영향을 주지 않는(조건부 독립, 조건부 확률 페이지) 탐지기 둘이 있고, 둘 다 우도 0.9·오경보 0.09라고 하자.

오즈로 보면 경고 하나마다 우도의 비 10이 곱해진다. 사전 확률 0.01(사전 오즈 1/991/99)에서 두 탐지기가 모두 경고하면 사후 오즈는 100/99100/99, 사후 확률은 100/199≈0.503100/199 \approx 0.503이다. 사전 확률을 0.1(사전 오즈 1/91/9)로 잡았다면 100/9100/9, 곧 약 0.917이다.

탐지기가 넷이면 사후 오즈가 104/9910^4/99와 104/910^4/9라, 두 사후 확률은 약 0.990과 0.999다. 사전 확률이 0이 아니면 같은 쪽 관찰이 쌓일수록 둘 다 1 쪽으로 밀려 차이가 좁혀진다. 다만 두 오즈의 비 11배는 처음과 같다.

두 탐지기가 서로 영향을 주면 이렇게 곱할 수 없다. 첫째·둘째 경고를 b1,b2b_1, b_2라 하면, 둘째 경고의 우도는 첫 경고까지 조건에 넣은 Pr⁡(b2∣a,b1)\Pr(b_2 \mid a, b_1)과 Pr⁡(b2∣¬a,b1)\Pr(b_2 \mid \lnot a, b_1)이다(확률의 연쇄 법칙). 둘째 탐지기가 첫째의 판정을 그대로 따라 하면 두 값이 모두 1이라 비가 1이고, 사후 확률은 첫 경고 뒤의 0.092에 머문다. 이때 독립이라 보고 10을 한 번 더 곱하면 0.503으로 부풀려진다.

후보가 셋 이상이어도 베이즈 정리는 분모에서 모든 후보를 더한다

후보가 a1,…,ana_1, \dots, a_n처럼 여럿이면, 식 (2)의 두 항이 후보마다 하나씩 모두 nn개 항의 합이 된다. 후보들은 서로 겹치지 않고 전체를 빠짐없이 나눠야 한다. 교과서의 전확률 공식이 이 분모다.

Pr⁡(ak∣b)=Pr⁡(b∣ak) Pr⁡(ak)∑j=1nPr⁡(b∣aj) Pr⁡(aj)(3)\Pr(a_k \mid b) = \frac{\Pr(b \mid a_k)\,\Pr(a_k)}{\sum_{j=1}^{n} \Pr(b \mid a_j)\,\Pr(a_j)} \tag{3}

메일 100통의 정상 메일 70통을 업무 메일(a2a_2) 50통과 광고 메일(a3a_3) 20통으로 나눴다고 하자. 스팸(a1a_1) 30통 중 24통, 업무 메일 중 4통, 광고 메일 중 10통에 링크가 있어 정상 쪽 링크 14통은 그대로다.

후보사전 확률우도분자사후 확률
a1a_1 스팸0.30.80.2424/38≈0.63224/38 \approx 0.632
a2a_2 업무0.50.080.044/38≈0.1054/38 \approx 0.105
a3a_3 광고0.20.50.1010/38≈0.26310/38 \approx 0.263

분모는 0.24+0.04+0.10=0.380.24 + 0.04 + 0.10 = 0.38로 두 후보일 때와 같다. 그림 5에서 사전 확률이 가장 큰 후보는 업무 메일이지만, 링크를 본 뒤 사후 확률이 가장 큰 후보는 스팸이다.

메일 100통을 스팸(a_1) 30통, 업무(a_2) 50통, 광고(a_3) 20통으로 나눈 가정에서, 사전 확률 Pr(a_k)(테두리 막대)와 링크(b)를 본 뒤의 사후 확률 Pr(a_k | b)(채운 막대). 사전 확률 0.3, 0.5, 0.2가 사후 확률 0.632, 0.105, 0.263으로 바뀐다.
그림 5 메일 100통을 스팸(a1a_1) 30통, 업무(a2a_2) 50통, 광고(a3a_3) 20통으로 나눈 가정에서, 사전 확률 Pr⁡(ak)\Pr(a_k)(테두리 막대)와 링크(bb)를 본 뒤의 사후 확률 Pr⁡(ak∣b)\Pr(a_k \mid b)(채운 막대). 사전 확률 0.3, 0.5, 0.2가 사후 확률 0.632, 0.105, 0.263으로 바뀐다. figures/class_posteriors.py

베이즈 정리의 흔한 오해

  • 우도가 크면 사후 확률도 크다 — 사전 확률(기저율)을 빠뜨린 기저율 무시다('우도가 90%인데 사후 확률은 왜 9%밖에 안 되나' §). 이 예시에서 사후 확률이 우도 0.9에 닿으려면 사전 확률이 약 0.474여야 한다(그림 4).
  • Pr(a | b)와 Pr(b | a)는 거의 같다 — 스팸 예시에서 Pr⁡(b∣a)=0.8\Pr(b \mid a) = 0.8이지만 Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632다. 사기 예시에서는 0.9와 0.092로 약 9.8배 차이 난다. Pr⁡(a,b)>0\Pr(a, b) > 0이면 식 (1)에서 둘이 같아지는 것은 Pr⁡(a)=Pr⁡(b)\Pr(a) = \Pr(b)일 때뿐이고, 사기 예시에서는 사전 확률이 9/199/19인 점이다.
  • 분자 Pr(b | a) Pr(a)가 곧 사후 확률이다 — 분자인 사기 쪽 0.009와 정상 쪽 0.0891은 결합 확률 Pr⁡(a,b)\Pr(a, b)와 Pr⁡(¬a,b)\Pr(\lnot a, b)라서, 합이 1이 아니라 Pr⁡(b)=0.0981\Pr(b) = 0.0981이다. bb가 주어졌을 때 aa에 대한 분포인 사후 확률은 주변화로 구한 이 0.0981로 나눠야 나오고, 0.092와 0.908로 합이 1이다.

사후 확률이 가장 큰 답을 고르는 것이 MAP 추정이다

사후 확률을 내는 분류기는 보통 입력 bb에서 사후 확률이 가장 큰 클래스 aa를 답으로 고른다. 이 규칙이 최대 사후 확률(MAP) 추정이다.

a^=arg⁡max⁡aPr⁡(a∣b)=arg⁡max⁡aPr⁡(b∣a) Pr⁡(a)(4)\hat{a} = \arg\max_a \Pr(a \mid b) = \arg\max_a \Pr(b \mid a)\,\Pr(a) \tag{4}
정의
기호이름원어뜻
a^\hat{a}, arg⁡max⁡a\arg\max_aMAP 추정값, 최댓값을 주는 값MAP estimate, argmax식 (4)에서 뒤의 값을 가장 크게 만드는 aa. 여기서 aa는 후보(클래스) 위를 도는 변수다
θ\theta파라미터parameter모델의 가중치. 아래에서 aa 자리에 온다. 경사하강법의 θ\theta와 같다. 연속이라 Pr⁡(θ)\Pr(\theta)는 밀도다

식 (4)의 오른쪽은 분모를 뺀 꼴이다(아래 질문). 세 후보 메일에서는 분자 0.24, 0.04, 0.10 가운데 가장 큰 스팸이 답이다(그림 5). 놓친 사기의 비용이 오경보보다 훨씬 크면 argmax 대신 사후 확률에 0.5보다 낮은 문턱을 둔다.33 오류마다 비용이 다를 때 어디에 문턱을 둘지는 결정 이론이 정한다. Bishop 1.5절이 다룬다.

파라미터 θ\theta를 aa 자리에, 데이터를 bb 자리에 두면 학습도 같은 꼴로 읽힌다. 사전 확률 Pr⁡(θ)\Pr(\theta)를 두고 사후 확률이 가장 큰 θ\theta를 찾는 것이 MAP 학습이다. 사전 확률이 균등(상수)하면 우도만 키우는 것과 같고, 이것이 최대우도추정(MLE, 다음 장, 예정)이다. MAP와 MLE의 차이, L2 정규화(weight_decay)를 사전 확률을 둔 MAP로 읽는 법은 그 장으로 넘긴다.

MAP 추정에서는 왜 분모를 계산하지 않나?

분모 Pr⁡(b)\Pr(b)는 비교하는 모든 aa에 같은 값이라, 나눠도 어느 쪽이 큰지는 바뀌지 않는다. 스팸 예시의 분자는 스팸 0.24, 정상 0.14이고, 0.38로 나눈 사후 확률 0.632와 0.368도 순서가 같다. 사기 예시에서도 사전 확률을 0.001에서 0.999까지 바꿔 보면 분자로 고른 답과 사후 확률로 고른 답이 매번 같다. 확률값 자체(0.632)가 필요할 때만 분모를 계산한다.

베이즈 정리는 AI에서 어디에 쓰이나

베이즈 정리가 코드에 그대로 나오는 곳은 나이브 베이즈 분류기다. 아래 표가 이 페이지의 기호를 scikit-learn의 인자에 잇는다.

이 페이지라이브러리·모델
식 (4), a^\hat{a}나이브 베이즈 sklearn.naive_bayes.MultinomialNB의 predict(X). 분모 없이 식 (4) 오른쪽(결합 로그 확률)의 argmax를 낸다
Pr⁡(a)\Pr(a)같은 모델의 클래스 사전 확률. 기본값 fit_prior=True면 학습 데이터에서 센 비율이고, class_prior로 직접 줄 수 있다. fit_prior=False면 균등한 사전 확률이다. 로그 값은 class_log_prior_
Pr⁡(b∣a)\Pr(b \mid a)같은 모델의 feature_log_prob_. 클래스마다 단어 확률의 로그이고, 센 수에 alpha(기본값 1.0)를 더해 한 번도 안 나온 단어도 0이 되지 않게 평활한 값이다. 클래스가 정해지면 단어들이 서로 독립이라고 보고(그래서 '나이브') 문서의 우도를 단어 확률의 곱으로 낸다
식 (1)의 분자predict_joint_log_proba(X). 분모로 나누기 전의 결합 로그 확률 log⁡Pr⁡(b∣a)+log⁡Pr⁡(a)\log \Pr(b \mid a) + \log \Pr(a). 사후 확률이 아니다
Pr⁡(a∣b)\Pr(a \mid b)predict_proba(X). 식 (3)처럼 모든 클래스의 분자를 더한 값으로 나눈 사후 확률이라 행마다 합이 1

언어 모델은 다음 토큰(문장을 쪼갠 단위)의 확률 Pr⁡(토큰∣문맥)\Pr(\text{토큰} \mid \text{문맥})을 직접 내므로 베이즈 정리로 조건을 뒤집지는 않는다. 그리디(greedy) 디코딩이 매번 확률이 가장 큰 토큰을 고르는 것은 식 (4) 왼쪽의 argmax와 같은 꼴이고, 분포에서 샘플링처럼 확률대로 뽑는 것은 argmax가 아니다.

코드로 확인하기

사기 예시의 네 조각을 NumPy 배열로 계산한다. 기호를 누르면 수식과 코드에서 같은 양이 함께 강조된다. 분모는 결합 확률 두 개를 더하는 주변화(식 (2))이고, 나누고 나면 사후 확률 두 개의 합이 1이다.

수식
Pr⁡(a∣b)=Pr⁡(b∣a) Pr⁡(a)Pr⁡(b)(1)\sym{posterior}{\Pr(a \mid b)} = \frac{\sym{likelihood}{\Pr(b \mid a)}\,\sym{prior}{\Pr(a)}}{\sym{evidence}{\Pr(b)}} \tag{1}Pr⁡(b)=Pr⁡(b∣a) Pr⁡(a)+Pr⁡(b∣¬a) Pr⁡(¬a)(2)\sym{evidence}{\Pr(b)} = \sym{likelihood}{\Pr(b \mid a)}\,\sym{prior}{\Pr(a)} + \sym{likelihood}{\Pr(b \mid \lnot a)}\,\sym{prior}{\Pr(\lnot a)} \tag{2}
코드 figures/bayes.py
import numpy as np

# 사기 거래 예시: a = 사기, b = 경고. 배열의 [0] 은 a, [1] 은 ¬a
prior      = np.array([0.01, 0.99])     # Pr(a), Pr(¬a)          사전 확률
likelihood = np.array([0.90, 0.09])     # Pr(b | a), Pr(b | ¬a)  우도

joint     = likelihood * prior          # Pr(b | a) Pr(a), Pr(b | ¬a) Pr(¬a)
evidence  = joint.sum()                 # 식 (2) 주변화: Pr(b)
posterior = joint / evidence            # 식 (1): Pr(a | b), Pr(¬a | b)

print(f"Pr(b | a) Pr(a)    = {joint[0]:.4f}")
print(f"Pr(b | ¬a) Pr(¬a)  = {joint[1]:.4f}")
print(f"Pr(b)              = {evidence:.4f}")
print(f"Pr(a | b)          = {posterior[0]:.3f}")
print(f"Pr(¬a | b)         = {posterior[1]:.3f}")
print(f"합                 = {posterior.sum():.1f}")
$ python bayes.py
Pr(b | a) Pr(a)    = 0.0090
Pr(b | ¬a) Pr(¬a)  = 0.0891
Pr(b)              = 0.0981
Pr(a | b)          = 0.092
Pr(¬a | b)         = 0.908
합                 = 1.0

직접 해보기

  1. 사기 거래 비율이 1%가 아니라 10%라면(우도 0.9, 오경보 확률 0.09는 그대로), 경고가 뜬 거래가 사기일 확률은 얼마인가?
답

식 (2)로 Pr⁡(b)=0.9×0.1+0.09×0.9=0.09+0.081=0.171\Pr(b) = 0.9 \times 0.1 + 0.09 \times 0.9 = 0.09 + 0.081 = 0.171이다. 식 (1)로 Pr⁡(a∣b)=0.09/0.171=10/19≈0.526\Pr(a \mid b) = 0.09 / 0.171 = 10/19 \approx 0.526이다. 10,000건으로 세면 사기 1,000건 중 경고 900건, 정상 9,000건 중 경고 810건이라 900/1710900 / 1710이다. 사전 확률을 10배 키웠더니 사후 확률이 0.5를 넘었다.

  1. 메일 100통 예시에서 링크가 없는 메일이 스팸일 확률 Pr⁡(a∣¬b)\Pr(a \mid \lnot b)는 얼마인가?
답

스팸이 링크가 없을 확률은 Pr⁡(¬b∣a)=1−0.8=0.2\Pr(\lnot b \mid a) = 1 - 0.8 = 0.2이고, Pr⁡(¬b)=1−0.38=0.62\Pr(\lnot b) = 1 - 0.38 = 0.62다. 식 (1)의 bb 자리에 ¬b\lnot b를 넣으면 Pr⁡(a∣¬b)=0.2×0.3/0.62=0.06/0.62≈0.097\Pr(a \mid \lnot b) = 0.2 \times 0.3 / 0.62 = 0.06 / 0.62 \approx 0.097이다. 표에서 바로 세면 링크 없는 메일 62통 중 스팸 6통이다.

  1. 사기 비율 1%와 우도 0.9는 그대로 두고 오경보 확률을 0.03으로 낮추면, 경고가 뜬 거래가 사기일 확률은 얼마인가?
답

식 (2)로 Pr⁡(b)=0.9×0.01+0.03×0.99=0.009+0.0297=0.0387\Pr(b) = 0.9 \times 0.01 + 0.03 \times 0.99 = 0.009 + 0.0297 = 0.0387이다. 식 (1)로 Pr⁡(a∣b)=0.009/0.0387≈0.233\Pr(a \mid b) = 0.009 / 0.0387 \approx 0.233이다. 10,000건으로 세면 경고는 사기 90건과 정상 297건이라 90/38790 / 387이다. 오경보를 3분의 1로 줄였더니 사후 확률이 약 2.5배가 되었다.

  1. 민감도 0.95, 특이도 0.9인 검사를 유병률 2%인 집단에 썼다. 양성이 나온 사람이 실제 환자일 확률은 얼마인가?
답

위양성률은 1−0.9=0.11 - 0.9 = 0.1이다. 양성일 확률은 0.95×0.02+0.1×0.98=0.019+0.098=0.1170.95 \times 0.02 + 0.1 \times 0.98 = 0.019 + 0.098 = 0.117이다. 식 (1)로 0.019/0.117≈0.1620.019 / 0.117 \approx 0.162라, 민감도가 0.95여도 양성의 약 84%는 환자가 아니다.

  1. 세 후보 메일 예시(식 (3))에서 링크가 없는 메일이 업무 메일일 확률은 얼마인가? 식 (4)의 MAP 추정은 어느 후보를 고르나?
답

링크가 없을 우도는 스팸 0.20.2, 업무 0.920.92, 광고 0.50.5다. 분자는 0.3×0.2=0.060.3 \times 0.2 = 0.06, 0.5×0.92=0.460.5 \times 0.92 = 0.46, 0.2×0.5=0.100.2 \times 0.5 = 0.10이고 합은 0.620.62다. 업무 메일일 확률은 0.46/0.62≈0.7420.46 / 0.62 \approx 0.742로 가장 커서 MAP 추정은 업무 메일 a2a_2다. 표로 세면 링크 없는 62통 중 46통이다.

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.11절(Bayes' Rule)이 식 (1)과 분모를 주변화로 구하는 식 (2)를 적는다. '베이즈 정리 공식은 가능도(우도)와 사전 확률로 조건을 뒤집는다' §가 기댄다.
  • Pattern Recognition and Machine Learning — Christopher M. Bishop, 2006. 1.2절이 합 규칙·곱 규칙에서 베이즈 정리를 끌어내고 사전·사후 확률과 우도를 정의한다. 1.2.3절은 파라미터에 사전 확률을 두는 베이즈 관점을, 1.2.5절은 정규분포 사전 확률을 둔 MAP가 제곱 노름 정규화와 같음을 보인다. 1.5절은 오류 비용에 따른 결정 문턱을 다룬다. 기호표와 '사후 확률이 가장 큰 답을 고르는 것이 MAP 추정이다' §가 기댄다.
  • Speech and Language Processing, 3판 원고 부록 B Naive Bayes, Text Classification, and Sentiment — Jurafsky·Martin, 2026년 8월 원고. 나이브 베이즈 분류는 본문 장에서 부록 B로 옮겨졌다. B.1~B.3절이 문서 분류에 식 (4)를 쓰고, 단어들이 클래스가 주어지면 독립이라는 가정을 설명한다. '베이즈 정리는 AI에서 어디에 쓰이나' §의 나이브 베이즈 행이 기댄다.
  • How to improve Bayesian reasoning without instruction: Frequency formats — Gigerenzer·Hoffrage, 1995. Psychological Review 102(4). 같은 문제를 확률 대신 자연 빈도로 쓰면 베이즈식 추론이 쉬워진다는 실험 연구다. 그림 2의 10,000건 격자와 '베이즈 정리의 흔한 오해' §의 첫 항목이 기댄다.
  • sklearn.naive_bayes.MultinomialNB — scikit-learn 공식 문서. 인자 alpha·fit_prior·class_prior와 속성 class_log_prior_·feature_log_prob_, 메서드 predict_joint_log_proba·predict_proba의 정의가 있다. '베이즈 정리는 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
  • Foundations of Large Language Models, 3.1.2절 In-context Learning · 5.1.3.4절 Decoding with Penalty Terms — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 베이즈 정리를 따로 유도하지는 않는다. 3.1.2절(원서 pp. 99–101)은 인컨텍스트 러닝을 설명하는 관점 가운데 하나로 베이즈 추론(Xie et al., 2022)을 들고, 5.1.3.4절(원서 pp. 217–218)은 가장 확률이 큰 출력을 고르는 MAP 디코딩을 기대 위험이 가장 작은 출력을 고르는 최소 베이즈 위험(MBR) 디코딩으로 바꿀 수 있다고 적는다. '사후 확률이 가장 큰 답을 고르는 것이 MAP 추정이다' §를 LLM 디코딩으로 잇는 자리다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "우도가 90%인데 왜 사기일 확률은 9%밖에 안 되나"
  • 00:40 사기 경고 비유 — 사전·우도·사후·오경보를 칠판에 네 칸으로
  • 01:40 식 (1)과 식 (2) 판서 — 분모는 주변화, 그림 1의 나무 그림으로 증거 0.0981
  • 02:50 그림 2 — 10,000건 격자에서 경고 981건 중 사기 90건, 메일 100통으로 다시 0.632
  • 04:00 그림 3 — 오경보를 0.009로 줄이면 0.503, 민감도 0.99는 0.1
  • 05:00 그림 4 — 사전 확률을 움직이면 사후 확률이 얼마나 바뀌나, 0.5 경계 1/11
  • 06:00 식 (3)과 그림 5 — 후보 셋의 분모, 사전 확률 최대와 사후 확률 최대가 다른 경우
  • 07:00 흔한 오해와 식 (4)의 MAP — 분모를 빼도 고르는 답은 같다

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

시그마 (수열의 합)미적분최댓값과 argmax예정최대우도추정예정조건부 확률확률·통계주변화확률·통계베이즈 정리지금 이 페이지
선수 개념
이 페이지
다음 개념
완성예정허브(일족)이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 3, 그림 2, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 6개(DL 3.11절·Bishop MSR 페이지·SLP3 2026-08 원고 부록 B·Gigerenzer DOI·scikit-learn MultinomialNB 인자와 메서드·arXiv) 확인, Wikidata Q182505, 허브·조건부 확률 페이지 링크, 그리디 디코딩으로 용어 통일, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  4. 2026-11-05 · 남은 질문(연속 변수의 사후 분포)을 최대우도추정 페이지(예정)로 넘김, 선수에 argmax(예정) 연결
  5. 2026-11-13 · 독자 패널 리뷰 반영 — 직관을 사기 경고 이야기로 바꾸고 숫자 예시를 사기 거래 먼저로, 첫 기호표의 MAP 기호를 그 §로 내림, MAP·MLE 비교와 L2 정규화 질문은 최대우도추정 페이지(예정)로 넘김, 질병 검사 질문 블록, 출처 없는 오해 한 줄 삭제
  6. 2026-11-17 · 전수 검수 반영 — 나무 그림(수형도)·오경보 곡선·세 후보 사후 확률 그림, 후보가 셋 이상인 식 (3)과 전확률 공식, 민감도와 오경보 질문, 조건부 독립이 아닌 두 탐지기로 남은 질문 답, 해보기 5문항, 중복 문장 정리 (에이전트 수정, 그림 2→5)
  7. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림