직관 — 조건은 메일함의 필터다
메일함에서 '링크 있음' 필터를 켜면 링크가 있는 메일만 화면에 남는다. 그 화면에서 스팸이 몇 통인지 세면, 전체 메일 수가 아니라 화면에 남은 메일 수로 나누게 된다. 필터를 끄면 다시 전체로 나눈다.
메일 한 통이 일어날 수 있는 결과 하나이고, 스팸 메일들의 모임이 확률을 재는 사건 다. 필터가 조건 , 화면에 남은 메일이 조건이 맞는 경우 전체다. 남은 메일 수로 나누는 일이 조건부 확률 의 분모 바꾸기다. ChatGPT 같은 언어 모델이 다음 낱말에 매기는 확률도 앞 문장을 조건으로 건 조건부 확률이다.
이 페이지는 확률의 기초 묶음의 첫 장이다. 연쇄 법칙과 베이즈 정리는 이 페이지의 식 (2)·(4)를 곱과 역으로 쓰고, 주변화는 표의 행 합·열 합을, 샘플링은 식 (1)의 분포를 출발점으로 삼는다. 조건부 확률은 확률을 다시 나누는 일이라, 나눌 대상인 확률분포부터 정한다.
경우가 유한한 확률분포는 0 이상이고 합이 1인 벡터다
일어날 수 있는 결과가 서로 겹치지 않고 빠짐없는 가지로 나뉠 때, 확률분포는 그 가지에 확률을 하나씩 매긴 것이다. 그 확률을 순서대로 늘어놓은 벡터 는 모든 칸이 0 이상이고, 칸을 다 더하면 1이다.11 교과서의 확률분포표에서 확률 줄만 늘어놓은 것이 이 벡터다. 칸이 개로 끝나는 분포만 벡터로 쓴다. 포아송 분포처럼 값이 끝없는 이산 분포는 합이 1인 무한 수열이고, 키·시간처럼 연속인 변수의 분포와 확률 밀도의 기본 뜻은 확률분포에서 다룬다.
벡터는 수를 순서대로 늘어놓은 것이고, 는 부터 까지 더한 값이다.22 벡터는 벡터와 내적 페이지, 합 기호는 시그마 (수열의 합) 페이지에서 따로 다룬다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 사건·값 | event, value | 일어날 수 있는 일, 또는 변수의 값 하나. 이 페이지에서 는 스팸, 는 링크가 있는 메일 | |
| 여사건 | complement | 가 아닌 경우. 는 정상 메일, 는 링크 없는 메일 | |
| 확률 | probability | 가 일어날 몫. 0 이상 1 이하. 문헌에 따라 , 로 쓴다 | |
| 결합 확률 | joint probability | 와 가 함께 일어날 확률. 와 같다 | |
| 조건부 확률 | conditional probability | 가 일어난 경우만 놓고 잰 의 확률. 이 페이지의 주인공 | |
| 조건부 분포 | conditional distribution | 를 고정하고, 재는 쪽의 모든 값(와 )에 매긴 확률을 늘어놓은 분포 | |
| , | 분포 벡터, 그 번째 칸 | probability vector | 식 (1)을 만족하는 벡터. 는 칸 수 |
| , | 어휘, 어휘 크기 | vocabulary, vocabulary size | 언어 모델이 쓸 수 있는 토큰 전체와 그 개수 |
| , | 번째 토큰, 접두부 | token, prefix | 문장의 번째 토큰과, 그 앞의 토큰 전부. 이면 접두부는 비어 있다 |
기호는 허브의 공통 기호표를 따른다. 이 페이지의 숫자는 두 예시에서 나온다. 하나는 메일 100통의 분할표이고(한 통을 고르게 뽑는다고 본다), 다른 하나는 어휘가 여섯 개인 작은 언어 모델이다.
| 링크 있음 | 링크 없음 | 합 | |
|---|---|---|---|
| 스팸 | 24 | 6 | 30 |
| 정상 | 14 | 56 | 70 |
| 합 | 38 | 62 | 100 |
표의 한 행을 그 행의 합으로 나누면 분포가 된다. 스팸 행 (24, 6)을 30으로 나누면 이고, 두 칸이 0 이상이며 합이 1이다. 표 전체를 100으로 나눈 네 칸 도 칸이 넷인 분포다.
칸이 개인 이런 분포를 범주형 분포라 한다. 언어 모델이 다음 토큰에 매기는 확률도 범주형 분포이고, 칸 수는 어휘 크기 다. 어휘가 여섯 개(나는·밥을·먹었다·학교에·갔다·<끝>)인 작은 언어 모델이면 길이 6인 벡터다.
정답 칸만 1이고 나머지가 0인 분포는 원-핫 벡터다. "나는" 다음의 정답이 "밥을"이면 원-핫은 이다. 같은 자리에서 작은 언어 모델은 "밥을" 칸에 0.4를 주고, 나머지 다섯 칸에 합쳐서 을 준다.
신경망이 내는 수는 음수도 되고, 더해서 1이 된다는 보장도 없다. 이 수를 로짓(logit)이라 하고, 로짓 벡터를 식 (1)의 꼴로 바꿔 분포로 만드는 함수가 소프트맥스다.
조건을 걸면 왜 분모가 바뀌나
조건부 확률 는 가 일어난 경우만 놓고 다시 잰 의 확률이고, 공식으로는 결합 확률을 조건의 확률로 나눈 다. 조건 를 걸면 가 아닌 경우는 버리고, 남은 경우끼리의 비율은 그대로 둔 채 합이 다시 1이 되게 하기 때문이다. 메일 표에서는 스팸이면서 링크 있는 24통은 그대로 두고 분모만 100통에서 링크 있는 38통으로 바꿔, 가 가 된다.
비율을 그대로 두려면 남은 칸을 모두 같은 수로 나눠야 한다. 남은 두 칸의 합 이 바로 라서, 그 수로 나눠야 합이 1이 된다. 그래서 와 가 함께 일어날 확률 를 로 나눈다.
세로 막대 는 '조건'이라 읽고, 오른쪽이 조건, 왼쪽이 확률을 재는 대상이다.33 이 묶음에서 세로 막대는 주로 세 가지로 쓰인다. 의 막대는 조건, 의 막대는 집합의 크기다. 샘플링 장의 에서는 '누적 확률 가 난수 보다 큰 칸 들'이라는 집합 조건이다. 이 셋은 절댓값이 아니다. 절댓값 막대는 같은 장의 처럼 수 하나를 양쪽에서 감쌀 때만 나온다.
고등학교 교과서는 붙여서 '조건부확률'이라 쓰고 로 적는다. 이 페이지의 와 같은 것이다. 교과서의 는 결합 확률 , 는 여사건 다.
P(A|B)의 세로선(|)은 절댓값이야?
아니다. 안에서 두 사건 사이에 선 세로선은 '조건'이라는 뜻이라, 는 링크 있음()을 조건으로 한 스팸()의 확률이다. 절댓값은 처럼 수 하나를 양쪽에서 감싸고, 어휘 크기 처럼 집합을 감싸면 원소의 개수다.
분할표에서는 개수를 세면 된다. 링크 있는 메일 38통이 조건을 건 뒤의 전체이고, 그중 스팸이 24통, 정상이 14통이다. 그래서 다. 확률로 나누나 개수로 나누나 100이 약분되어 값이 같고, 두 칸의 비율 24 : 14도 그대로다.
그림 1이 이 과정이다. 100칸 중 링크 없는 62칸을 버리면 38칸이 남고, 그 38칸을 넓이 1로 다시 재면 스팸 칸의 몫이 0.632가 된다. 조건 없이 잰 보다 크다. 링크가 있다는 조건이 스팸 쪽 몫을 키웠다.
figures/condition_grid.py조건부 확률은 조건이 맞는 경우만 남기고, 그 안의 비율은 그대로 둔 채 합이 다시 1이 되게 분모를 바꾼 확률이다.
조건부 확률도 합이 1인 분포다 — 식 (2)의 분자를 더하면
조건 를 고정하고 와 에 대해 식 (2)를 더한다. 와 는 겹치지 않고 둘을 합치면 빠짐없으므로, 두 분자를 더하면 가 일어나는 경우 전체인 다.
표에서는 이다. 두 값이 모두 0 이상이고 합이 1이므로, 조건부 분포 은 식 (1)을 만족한다. 반대로 조건이 서로 다른 은 1이 아니다.
P(b)가 0이면 조건부 확률은 어떻게 돼?
이면 조건부 확률 는 정의되지 않는다. 식 (2)의 분모가 0이라 나눌 수 없다. 메일 100통 중 링크 있는 메일이 0통이면 다시 잴 메일이 없어 자리가 이다. 그래서 식 (2)에 을 붙인다.
결합 확률은 한쪽 확률과 조건부 확률의 곱이다 (확률의 곱셈정리)
식 (2)의 양변에 를 곱하면 결합 확률이 한쪽 확률과 조건부 확률의 곱이 된다. 고등학교 교과서는 이것을 확률의 곱셈정리 로 쓴다. 는 순서와 무관하므로 와 의 자리를 바꿔 쓸 수도 있어, 곱하는 방법이 두 가지다.
첫 꼴은 , 둘째 꼴은 일 때 쓴다. 표로 확인하면 이고 다. 두 꼴의 조건부 확률은 서로 다르지만, 곱하는 한쪽 확률도 0.38과 0.30으로 달라 결과가 같다. 식 (4)를 변수 셋 이상으로 넓힌 것이 확률의 연쇄 법칙이고, 두 꼴을 같다고 놓고 로 나눈 것이 베이즈 정리다.
행 합과 열 합은 한쪽만의 확률(주변 확률)이다. 스팸 행을 더한 이 , 링크 열을 더한 이 다. 관심 없는 쪽을 이렇게 더해 없애는 일은 주변화에서 다룬다.
그림 2는 표 전체, 스팸 행, 링크 열을 각각 그 합으로 나눈 세 분포다. 100으로 나누면 결합 분포, 30으로 나누면 , 38로 나누면 이고, 셋 다 칸을 더하면 1이다.
figures/row_distributions.pyP(A|B)와 P(B|A)는 같아?
아니다, 보통 다르다. 식 (4)에서 라, 이면 두 사건의 확률이 같을 때만 같다. 메일 표에서는 링크 메일 중 스팸 와 스팸 중 링크 메일 으로 다르고, 그 비 0.789는 과 같다. '링크 있음'을 스팸이라는 예측으로 보면 앞의 것이 정밀도, 뒤의 것이 재현율이다.
결합 확률이랑 조건부 확률 차이가 뭐야?
결합 확률과 조건부 확률은 분모가 다르다. 결합 확률 는 메일 100통 전체로 나눈 몫이고, 조건부 확률 는 링크 있는 38통으로 나눈 몫이다. 분자는 둘 다 24통이다. 그래서 결합 확률은 조건부 확률에 을 곱한 값이다(식 (4)).
독립이면 조건을 걸어도 확률이 그대로다
두 사건이 독립이라는 것은 결합 확률이 두 확률의 곱이라는 뜻이다(식 (5) 왼쪽). 이면 이것은 '조건 를 걸어도 의 확률이 그대로'라는 말과 같다. 독립이 아닌 두 사건은 종속이라 한다.
식 (5)의 는 왼쪽이 성립하면 오른쪽도, 오른쪽이 성립하면 왼쪽도 성립한다는 뜻이다. 왼쪽을 로 나누면 를 조건으로 쓴 식 (2), 곧 에 따라 오른쪽이 된다. 오른쪽을 식 (4) 둘째 꼴의 자리에 넣으면 왼쪽이 된다.
메일 표는 독립이 아니다. 인데 다. 조건으로 보아도 이 의 두 배를 넘는다. 스팸이라는 사실이 링크가 있을 확률을 키운다.
언어 모델에서도 둘이 갈린다. 같은 프롬프트로 응답을 여러 번 따로 뽑으면, 프롬프트를 조건으로 놓았을 때 응답끼리 독립이다.44 조건 아래의 독립(조건부 독립)은 식 (5) 왼쪽에 나오는 확률 셋에 프롬프트라는 조건을 붙인 것이다. . 반면 한 문장 안의 토큰은 보통 독립으로 두지 않는다. 언어 모델은 두 번째 토큰의 분포 이 첫 토큰 에 따라 달라질 수 있게 만든 모델이다.
두 사건이 독립인지 어떻게 확인해?
결합 확률이 두 확률의 곱과 같은지, 또는 조건을 건 확률이 조건 없는 확률과 같은지 본다. 식 (5)에 메일 표를 넣으면 이고 이라 독립이 아니다. 행 합 30과 열 합 38을 그대로 두고 독립이 되려면 스팸이면서 링크 있는 메일이 통이어야 한다. 정수가 아니니 이 합계로는 독립인 표를 만들 수 없다.
배반 사건은 독립이야?
배반 사건은 두 사건의 확률이 모두 0보다 크면 독립이 아니다. 배반(동시에 일어날 수 없음)이면 인데, 식 (5)의 곱 는 0보다 크기 때문이다. 표에서 스팸 와 정상 가 배반이고, 이지만 이다. 한쪽이 일어나면 다른 쪽은 절대 일어나지 않으니 오히려 강하게 얽혀 있다.
조건부 확률의 흔한 오해
- 와 는 같다 — 둘의 비가 라, 두 사건의 확률이 다르면 다르다. 메일 표에서는 분모가 조건 쪽의 개수 38과 30이라 0.632와 0.80으로 갈린다.
- 두 사건이 함께 일어날 확률이 그중 한 사건의 확률보다 클 수 있다 — 식 (4)에서 이고 이라, 결합 확률은 를 넘지 못한다. 표에서도 이고 이다.
- 조건이 일어날 확률이 0이면 조건부 확률도 0이다 — 식 (2)의 분모가 0이라 값이 정의되지 않는다. scikit-learn의
precision_score가 예측 양성이 0개일 때 경고와 함께 0을 돌려주는 것도(zero_division기본값) 계산한 값이 아니라 정해 둔 약속이다. - 배반이면 독립이다 — 두 사건의 확률이 모두 0보다 크면, 배반일 때 결합 확률은 0이고 두 확률의 곱은 0보다 커서 식 (5)가 깨진다. 인데 이다.
조건부 확률은 AI에서 어디에 쓰이나
언어 모델이 토큰을 하나씩 만드는 매 단계가 조건부 분포다. 앞의 토큰 를 조건으로 어휘의 칸에 확률을 매긴 벡터 를 내고, 그중 정답 칸의 값이 다. 학습은 이 값을 키우는 쪽으로 파라미터를 고친다. 정답을 원-핫으로 두고 두 분포를 비교하는 손실이 교차엔트로피(예정)이고, 그 손실을 경사하강법이나 모멘텀으로 줄인다.
| 이 페이지 | 코드 (PyTorch · Hugging Face · scikit-learn) |
|---|---|
| 범주형 분포 (칸) | torch.nn.functional.softmax(logits, dim=-1)(torch.softmax와 같다)의 결과. 마지막 차원의 칸이 0 이상이고 합이 1이다 |
input_ids가 일 때 model(input_ids).logits[:, -1, :]에 softmax를 씌운 벡터. 패딩 없는 한 문장 기준, 마지막 위치에서 본 다음 토큰 분포. 이면 보통 문장 시작(BOS) 토큰 하나를 넣는다 | |
| 원-핫 정답 | torch.nn.functional.one_hot(target, num_classes). 정수(int64)를 돌려주므로 확률 자리에 쓰려면 .float() |
| 정답 칸의 확률을 키우는 손실 | torch.nn.functional.cross_entropy(logits, target). softmax 전 로짓을 받아 안에서 log-softmax(소프트맥스의 로그)를 하고, target은 정답 칸 번호(정수)나 칸마다의 확률(실수, 1.10부터)이다. 언어 모델은 자리의 로짓이 를 맞히므로 logits[:, :-1]과 input_ids[:, 1:]을 짝짓고, transpose(1, 2)로 칸 차원을 둘째로 옮긴다. Hugging Face 모델은 labels=input_ids를 넘기면 안에서 한 칸 민다 |
| 정밀도 , 재현율 | sklearn.metrics.precision_score, recall_score. '링크 있음'을 스팸 예측으로 보면 0.632와 0.80 |
| 조건 아래 독립인 응답 | model.generate(..., do_sample=True, num_return_sequences=3) — 같은 프롬프트에서 따로 뽑은 응답 셋 |
generate가 뽑는 분포는 둘째 행의 분포 그대로가 아닐 수 있다.55 Transformers의 생성 설정 기본값은 top_k=50이다(모델 설정이 덮어쓸 수 있다). 그러면 확률이 큰 50칸만 남기고 합이 다시 1이 되게 나눈 분포에서 뽑는다. 식 (2)의 분모 바꾸기와 같은 계산이다.
언어 모델의 다음 토큰 확률도 조건부 확률이야?
그렇다. 앞의 토큰 를 조건으로 한 이고, 칸 전체 는 어휘 크기만큼 칸이 있는 범주형 분포다. 작은 언어 모델에서 "나는" 다음에 "밥을"이 올 확률은 0.4이고, 그 자리의 여섯 칸을 다 더하면 1이다. 앞 문장이 바뀌면 조건이 바뀌고, 언어 모델은 조건에 따라 이 분포가 달라질 수 있게 만든 모델이다.
코드로 확인하기
분할표를 NumPy 배열로 두고, 전체로 나누면 결합 확률, 행이나 열의 합으로 나누면 조건부 확률이다. 기호를 누르면 수식과 코드에서 같은 양이 함께 강조된다.
import numpy as np
table = np.array([[24, 6], # 행: a 스팸, ¬a 정상
[14, 56]]) # 열: b 링크 있음, ¬b 링크 없음
joint = table / table.sum() # 결합 확률 네 칸. 식 (1): 합이 1
pr_ab = joint[0, 0] # Pr(a, b)
pr_a, pr_b = joint[0].sum(), joint[:, 0].sum() # 행 합 Pr(a), 열 합 Pr(b)
a_given_b = pr_ab / pr_b # 식 (2): 분모가 Pr(b)
b_given_a = pr_ab / pr_a # 식 (2)를 a 조건으로
rows = table / table.sum(axis=1, keepdims=True) # 행마다 그 행의 합으로 나누면 행마다 분포
print("joint =", joint.ravel(), " sum =", round(joint.sum(), 12))
print(f"Pr(a|b) = {a_given_b:.3f} Pr(b|a) = {b_given_a:.3f}")
print("rows =", rows.ravel(), " row sums =", rows.sum(axis=1))
print(f"Pr(a)Pr(b) = {pr_a * pr_b:.3f} Pr(a,b) = {pr_ab:.2f}") # 식 (5): 같으면 독립$ python conditional.py
joint = [0.24 0.06 0.14 0.56] sum = 1.0
Pr(a|b) = 0.632 Pr(b|a) = 0.800
rows = [0.8 0.2 0.2 0.8] row sums = [1. 1.]
Pr(a)Pr(b) = 0.114 Pr(a,b) = 0.24직접 해보기
- 표에서 와 를 구하라. 각각 무엇과 더하면 1이 되나?
- 표에서 를 구하고, 가 와 같은지 확인하라.
답
- 이고 과 더하면 1이다. 이고 와 더하면 1이다. 같은 조건 아래의 확률끼리 더하면 1이다(식 (3)).
- 이다. 로 와 같다. 식 (4)로 링크 열의 두 칸을 따로 구해 더한 것이고, 이 계산을 주변화라 한다.
더 읽기
- Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.3절이 이산 확률분포를 합이 1인 질량 함수로, 3.5절이 조건부 확률을, 3.7절이 독립과 조건부 독립을 정의한다. '조건을 걸면 왜 분모가 바뀌나' §와 '독립이면 조건을 걸어도 확률이 그대로다' §, 흔한 오해의 셋째 줄이 기댄다.
- Pattern Recognition and Machine Learning, 1.2절 Probability Theory — C. M. Bishop, 2006. 두 변수의 칸 수를 세는 표에서 곱의 규칙과 합의 규칙을 끌어낸다. '결합 확률은 한쪽 확률과 조건부 확률의 곱이다 (확률의 곱셈정리)' §가 기댄다.
- torch.nn.functional.softmax — PyTorch 공식 문서. 지정한 차원의 원소가 0과 1 사이이고 합이 1이 되게 바꾼다고 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 첫 행이 기댄다.
- torch.nn.functional.cross_entropy — PyTorch 공식 문서. 입력이 정규화하지 않은 로짓이고, 정답으로 칸 번호나 칸마다의 확률을 받으며, 칸 차원이 둘째라는 모양 규칙을 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 원-핫 행이 기댄다.
- Generation (GenerationConfig) — Hugging Face Transformers 공식 문서.
num_return_sequences를 입력마다 따로 계산해 돌려주는 시퀀스 수로,top_k의 기본값을 50으로 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §의 마지막 행과 그 아래 메모가 기댄다. - Foundations of Large Language Models, 2.1절 A Brief Introduction to LLMs — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 37–56. 식 (2.1) 바로 뒤에서, 신경망이 앞 토큰들을 받아 어휘 집합 위의 분포 를 내고 다음 토큰의 확률은 그 분포에서 그 토큰 칸의 값이라고 적는다. '조건부 확률은 AI에서 어디에 쓰이나' §가 기댄다.
영상 노트
- 00:00 오프닝 질문 — "조건을 걸면 왜 분모가 바뀌나"
- 00:30 메일함 필터 비유, 분할표 판서
- 01:30 식 (1) — 표의 한 행을 분포로, 원-핫
- 03:00 그림 1 — 100칸에서 38칸으로, 비율은 그대로, 식 (2)와
- 04:30 식 (4)와 그림 2 — 분자 24, 분모 100·30·38, 정밀도와 재현율
- 06:00 식 (5) — , 배반과 독립
- 07:30 언어 모델의 다음 토큰 분포 · 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 5, 그림 2, 코드랩 1)
- 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15·Transformers 문서 확인, Wikidata Q327069, 선수에 시그마 추가, 벡터·시그마·소프트맥스 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 연쇄 법칙·샘플링 페이지 링크 연결
- 2026-11-05 · 주변화·베이즈 정리 페이지 링크 연결
- 2026-11-05 · 남은 질문(연속 변수의 조건부 확률 밀도)을 확률분포 페이지(예정)로 넘김
- 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-13 · 독자 패널 리뷰 반영 — 제목을 조건부 확률로, 세로 막대 메모의 '어느 것도 절댓값이 아니다'를 고침, 조건부 확률의 정의 문장과 교과서 표기(조건부확률·곱셈정리·종속) 연결 (에이전트 수정, 다시 검토 전)
- 2026-11-16 · 확률·통계 교과 글 작성에 맞춰 예정 안내를 실제 개념 링크로 갱신 (에이전트 수정)