직관 — 갈림길마다 남는 비율을 곱한다
1,000명이 갈림길 네 개가 이어진 길을 걷는다. 첫 갈림길에서 절반인 500명이 왼쪽으로 가고, 그중 40%인 200명이 둘째 갈림길에서도 왼쪽을 고른다. 셋째에서 70%, 넷째에서 90%가 또 왼쪽을 고르면, 네 번 모두 왼쪽으로 간 사람은 126명이다.
1,000명 전체는 확률 1, 갈림길은 문장에서 토큰(문장을 자른 조각)이 놓이는 자리다. 왼쪽 길은 문장에 실제로 나온 토큰이고, 오른쪽 길은 나머지 토큰 전부를 한 갈래로 모은 것이다(그림 1의 점선). '거기까지 온 사람 중' 왼쪽 비율은 조건부 확률, 끝까지 왼쪽만 간 사람의 비율 0.126은 결합 확률이다. 비율을 늘 '거기까지 온 사람'을 기준으로 재는 것이 앞의 토큰 전부를 조건으로 붙이는 일이다.
언어 모델이 문장에 매기는 확률이 이 곱이고, 학습 손실도 이 곱의 로그에서 나온다.
결합 확률은 조건부 확률의 곱으로 쪼개진다
확률의 연쇄 법칙(chain rule of probability)은 여러 일이 함께 일어날 확률을, 하나씩 차례로 일어날 확률의 곱으로 쓰는 등식이다. 영어로는 곱 규칙(product rule)이라고도 부르고, 두 사건일 때는 고교 교과서의 확률의 곱셈정리(확률의 곱셈법칙)다. 각 인수에는 그 앞에 정해진 것 전부를 조건으로 붙인다.11 미분의 연쇄법칙(합성함수의 미분)과는 이름만 같은 다른 규칙이다. 이 페이지의 규칙은 붙여서 '확률의 연쇄법칙'으로도 쓴다. 두 사건이면 조건부 확률의 정의 에서 분모를 넘긴 식 (1)이다(일 때).
사건이 개면 식 (1)을 되풀이해 식 (2)를 얻는다. 문장으로 말하면 토큰 이 이 순서로 나올 확률이다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 사건 | event | 일어나거나 일어나지 않는 일. 메일 예시에서 = 스팸, = 링크 있음 | |
| 확률 | probability | 가 일어날 확률. 0 이상 1 이하 | |
| 결합 확률 | joint probability | 와 가 함께 일어날 확률 | |
| 조건부 확률 | conditional probability | 가 일어났다는 조건에서 가 일어날 확률. 세로 막대는 조건 표시이고 절댓값·크기의 막대와 다르다 | |
| 문장(토큰열) | token sequence | 토큰 개를 차례로 늘어놓은 것. 는 번째 토큰이고, 토큰은 문장을 자른 단위다(예시에서는 어절 하나) | |
| 길이 | length | 문장의 토큰 수. 경사하강법 페이지의 손실 과 다르다 | |
| 접두부 | prefix | . 은 비어 있어 | |
| , | 어휘, 어휘 크기 | vocabulary, vocabulary size | 토큰이 될 수 있는 것 전부와 그 개수 |
| 곱 | product | 부터 까지 곱한다. 합 과 같은 꼴 | |
| , | 앞 문장, 이어 붙일 문장 | prefix, continuation | 토큰열 하나씩. 토큰 와 같은 글자지만 열 전체를 뜻한다 |
| 이어 붙인 문장 | concatenation | 뒤에 를 붙인 토큰열 | |
| 자연로그 | natural logarithm | 밑이 인 로그 |
기호와 예시는 확률의 기초 허브의 공통 기호표를 따른다. 조건부 확률의 정의는 조건부 확률 페이지에서 다룬다. 교과서의 , 가 이 페이지의 , 다.
허브의 메일 100통으로 식 (1)을 확인해 보자. 스팸이 30통이고() 그중 24통에 링크가 있어 이다. 그래서 이고, '스팸이면서 링크 있음' 칸을 직접 센 24/100과 같다. 링크가 있는 메일은 스팸 24통과 정상 14통, 모두 38통이다().
확률의 곱셈정리와 확률의 연쇄 법칙은 같은 건가?
그렇다, 사건이 둘일 때의 확률의 연쇄 법칙이 확률의 곱셈정리다. 교과서의 가 식 (1)이고, 이것을 사건 개로 되풀이한 것이 식 (2)다. 메일 예시의 가 곱셈정리이고, 예시 문장의 이 연쇄 법칙이다.
식 (1)을 되풀이하면 식 (2)가 된다
세 토큰이면 앞의 둘 를 사건 하나로 보고 식 (1)을 쓴다.
남은 에 식 (1)을 한 번 더 쓰면 이다.
개면 맨 끝 토큰을 떼어 내는 이 걸음을 번 되풀이한다. 떼어 낸 토큰에는 매번 그 앞 토큰 전부가 조건으로 붙으니, 남는 것이 식 (2)다. 각 조건부 확률이 정의되려면 조건의 확률 이 0보다 커야 한다.
확률의 연쇄 법칙은 쪼개는 순서를 바꿔도 같은 값이 나오나?
그렇다, 순서를 바꿔 쪼개도 결합 확률은 같다. 어떤 순서로 늘어놓든 각 인수에 '그 순서에서 앞선 것 전부'를 조건으로 붙이면 식 (2)가 성립한다. 메일 예시에서 링크 메일 38통 중 스팸이 24통이라 로, 와 같다. 언어 모델은 글을 앞에서부터 만들기 때문에 왼쪽에서 오른쪽 순서를 쓴다.
문장의 확률은 왜 다음 토큰 확률의 곱인가
문장은 토큰이 차례로 나오는 결합 사건이라, 식 (2)가 그대로 문장의 확률이 된다. 예시 모델에서 문장 "나는 밥을 먹었다 <끝>"의 확률은 이다.
예시 모델의 어휘는 나는·밥을·먹었다·학교에·갔다·<끝> 여섯 개다(). <끝>은 문장이 끝났다는 표시 토큰이다. 모델은 접두부마다 어휘 6개 각각에 확률을 매긴 다음 토큰 분포(합이 1)를 낸다.
이 모델에서 첫 토큰이 "나는"일 확률은 0.5, "나는" 다음이 "밥을"일 확률은 0.4다. "나는 밥을" 다음이 "먹었다"일 확률은 0.7, "나는 밥을 먹었다" 다음이 <끝>일 확률은 0.9다.
그림 1의 가지를 따라 곱하면 거기까지의 확률이 0.5, 0.2, 0.14, 0.126으로 줄어든다. 갈림마다 다른 토큰으로 가는 가지(점선)의 확률은 , 처럼 나머지다. 가지 끝의 확률 0.5, 0.3, 0.06, 0.014와 0.126을 모두 더하면 1이다.
figures/probability_tree.py이것이 왜 중요한가. 문장마다 확률을 표로 적으면 칸이 개 필요하다. 예시 모델의 길이 4 문장만 해도 칸이고, 어휘 10,000개·길이 10이면 칸이다.
연쇄 법칙은 이 표를 '접두부를 받아 다음 토큰 분포를 내는' 문제로 바꾼다. 다만 접두부마다 표를 따로 두면 칸 수는 거의 그대로다(그림 2의 점선, 아래 질문 블록). 언어 모델은 모든 접두부를 함수 하나(신경망)로 처리해 이 벽을 넘는다. 그 함수는 문장 하나를 평가할 때 위치 개마다 개의 확률, 곧 개를 낸다(그림 2에서 24개와 개).
figures/table_size.py문장의 확률은 확률의 연쇄 법칙에 따라 다음 토큰 확률을 앞에서부터 곱한 것이다. 각 확률에 앞의 토큰 전부를 조건으로 붙이므로 독립을 가정하지 않는다.
확률의 연쇄 법칙을 쓰면 확률표가 작아지나?
아니다, 확률의 연쇄 법칙만으로는 확률표가 작아지지 않는다. 길이 4 문장을 접두부마다 표로 적으면 접두부 개에 6칸씩, 칸이다. 합이 1이라 표마다 하나씩 빼고 세면 결합 확률표도 접두부 표도 1,295개를 정해야 한다. 줄이는 것은 접두부를 신경망 하나로 처리하는 설계이고, Bengio 외(2003)가 앞의 몇 단어만 보는 신경망으로 이 길을 열었다.
공을 돌려놓지 않으면 왜 조건이 필요한가
앞의 결과가 뒤의 확률을 바꾸기 때문이다. 빨간 공 3개와 파란 공 2개가 든 상자에서 두 번 뽑으면, 첫 공이 빨강일 확률은 3/5 = 0.6이다. 그 공을 돌려놓지 않으면(비복원 추출) 상자에 빨강 2·파랑 2가 남아, 둘째가 파랑일 확률은 2/4 = 0.5가 된다.
식 (1)로 '첫째 빨강, 둘째 파랑'의 확률은 0.6 × 0.5 = 0.3이다. 공을 돌려놓으면 둘째가 파랑일 확률은 첫째와 상관없이 2/5 = 0.4라서 0.6 × 0.4 = 0.24다. 이처럼 조건이 확률을 바꾸지 않는 경우를 독립(independence)이라 한다. 모든 에서 일 만큼 토큰들이 서로 독립(상호 독립)이면, 식 (2)의 조건을 떼어 낼 수 있다. 둘씩만 독립인 것으로는 부족하다.
돌려놓지 않는 뽑기도 순서를 바꿔 쪼갤 수 있다. 둘째가 파랑일 확률은 두 갈래(빨강 뒤 파랑 0.3, 파랑 뒤 파랑 0.1)를 더한 0.4다.22 갈래를 더해 한 사건의 확률을 얻는 일을 주변화라 한다. 주변화 페이지에서 다룬다. 둘째가 파랑이라는 조건에서 첫째가 빨강일 확률은 0.3/0.4 = 0.75이니, 반대 순서로도 0.4 × 0.75 = 0.3이다.
독립이 아니어도 확률의 연쇄 법칙을 쓸 수 있나?
그렇다, 확률의 연쇄 법칙은 독립이 아니어도 쓸 수 있다. 식 (2)는 조건부 확률의 정의만으로 나오는 등식이라, 조건의 확률이 0보다 크면 독립이든 아니든 성립한다. 모든 토큰이 서로 독립이면 조건이 떨어져 가 될 뿐이다. 공을 돌려놓지 않으면 둘째 파랑의 조건부 확률 0.5가 조건 없는 확률 0.4와 다르지만, 0.6 × 0.5 = 0.3이 그대로 맞다.
문장 확률은 왜 곱하지 않고 로그로 더하나
긴 문장의 확률을 그대로 곱하면 컴퓨터가 나타낼 수 있는 가장 작은 양수의 절반보다 작아져 0으로 반올림되기(언더플로, underflow) 때문이다. 로그를 취하면 곱이 합으로 바뀌어(식 (3)), 길이에 따라 절댓값이 커지는 음수 하나로 남는다.
예시 문장은 이고, 이다. 로그의 성질은 로그 페이지에서 다룬다.
토큰마다 확률이 0.1인 400토큰 문장은 확률이 이다. 64비트 실수(float64)의 가장 작은 양수는 약 라서 곱은 0이 되지만, 로그의 합은 으로 멀쩡하다. 학습에서 흔한 32비트 실수(float32)는 가장 작은 양수가 약 다. 그래서 는 그 최솟값으로 반올림되어 남지만, 0.1을 46번 곱한 은 0이 된다.
문장 뒤에 문장 가 이어질 로그 확률은 이어 붙인 문장 의 로그 확률에서 앞 문장의 로그 확률을 뺀 것이다. 여기서 는 문장이 로 시작할 확률이다(에서 끝나는 문장의 확률이 아니다).
문장 x 뒤에 y가 올 로그 확률 — 식 (4)의 유도
, 이고, 의 길이는 이다. 는 이다.
① 조건부 확률의 정의로 다.
② '앞 개가 이고 다음 개가 '는 '앞 개가 '와 같은 사건이라 다.
③ 나눗셈의 로그는 로그의 뺄셈이라 식 (4)가 된다.
④ 두 항을 식 (3)으로 펼치면 앞 개 항이 같아서 지워진다. 남는 것은 의 토큰마다 '와 앞선 전부를 조건으로 한' 로그 확률의 합 다.
예: = "나는 밥을", = "먹었다 <끝>"이면 다. 곧 다. 언어 모델로 이어지는 문장에 점수를 매기는 일은 이 두 로그 확률의 차를 구하는 것이다. 실제로는 를 한 번 넣고 자리의 로그 확률만 더한다.
확률의 연쇄 법칙에 대한 흔한 오해
- 확률의 연쇄 법칙은 토큰끼리 독립이라고 가정한다 — 식 (2)는 조건부 확률의 정의만으로 나오는 등식이다. 모든 토큰이 서로 독립이면 조건이 떨어질 뿐이고, 공을 돌려놓지 않아 독립이 아닌 뽑기에서도 0.6 × 0.5 = 0.3이 맞다.
- 어느 사건을 먼저 놓고 쪼개느냐에 따라 결합 확률이 달라진다 — 순서를 바꾸면 인수는 달라지지만(, ) 곱은 같다. 를 0.80으로 착각해 를 얻으면 순서가 값을 바꾼 것처럼 보인다. 메일 예시에서 과 은 둘 다 0.24이고, 공 상자에서 와 는 둘 다 0.3이다.
- 확률의 연쇄 법칙은 미분의 연쇄법칙과 같은 규칙이다 — 이름만 같다. 미분의 연쇄법칙은 합성함수의 도함수를 도함수의 곱으로 쓰고, 확률의 연쇄 법칙은 결합 확률을 식 (2)처럼 조건부 확률의 곱으로 쓴다. 역전파가 쓰는 것은 미분 쪽이다.
확률의 연쇄 법칙은 AI에서 어디에 쓰이나
언어 모델 학습의 손실은 식 (3)의 항을 평균 내 부호를 바꾼 것이다. 이것을 교차엔트로피(cross-entropy, 예정) 또는 음의 로그 우도라 부른다.
모델은 문장을 한 번 읽고 모든 위치의 다음 토큰 분포를 한꺼번에 낸다(forward). 인과 마스크가 각 위치에 앞 토큰만 보여 주기 때문이다. 그 손실을 역전파로 미분하고 경사하강법이나 모멘텀 같은 옵티마이저로 줄이면, 학습 문장의 확률이 커진다.
생성할 때는 확률을 계산하는 대신, 다음 토큰 분포에서 하나를 뽑아 접두부에 붙이기를 <끝>까지 되풀이한다(분포에서 샘플링). 그 분포는 모델이 낸 로짓(logits)에 소프트맥스를 씌워 얻는다.
| 이 페이지 | PyTorch · Hugging Face Transformers |
|---|---|
input_ids — 토큰 번호를 늘어놓은 텐서, 모양 (배치, L) | |
logits의 마지막 차원 = model.config.vocab_size. 모델에 따라 임베딩 행렬의 행 수를 늘려 토크나이저의 어휘보다 클 수 있다 | |
| (분포 전체) | 인과 언어 모델(AutoModelForCausalLM)에서 자리의 logits에 torch.softmax(..., dim=-1). model(input_ids).logits의 모양은 (배치, L, 어휘 크기) |
torch.log_softmax(logits, dim=-1)에서 실제 토큰 의 칸을 gather로 고른 값 | |
| 식 (3) | 위 값을 위치마다 더한 .sum(). 시작 토큰이 없으면 을 예측할 자리가 없어 이 된다(예시 −1.378) |
| 손실 | model(input_ids, labels=input_ids).loss — 예측한 위치마다 를 낸 평균(교차엔트로피). 배치면 전체 토큰의 평균이고, 패딩 자리는 labels를 −100으로 둬야 빠진다(−100은 F.cross_entropy가 건너뛰는 ignore_index의 기본값). 직접 쓰면 F.cross_entropy(logits[:, :-1].reshape(-1, logits.size(-1)), labels[:, 1:].reshape(-1)) |
| perplexity(퍼플렉서티) | torch.exp(loss) — 다음 토큰 확률의 기하평균의 역수 |
labels를 한 칸 밀기 | 자리의 출력이 의 분포라서, 모델 안에서 logits[:, :-1]과 labels[:, 1:]을 맞춘다 |
언어 모델의 loss·퍼플렉서티와 문장 확률은 무슨 관계인가
loss는 식 (3)의 항을 예측한 위치 수로 나눈 평균에 부호를 바꾼 값이다. 시작 토큰을 앞에 붙여 까지 예측하면 예시 문장의 loss는 이고, perplexity는 이다. 시작 토큰이 없으면 을 예측할 자리가 없어 부터 셋의 평균 0.459가 된다. 시작 토큰을 붙였을 때는 loss 이라, 길이가 같은 문장끼리 loss가 작을수록 문장의 확률이 크다.33 시작 토큰이 없으면 첫 토큰의 확률이 빠져 이 순서가 뒤집힐 수 있다. 조건부 확률이 (0.01, 0.9, 0.9, 0.9)인 문장은 loss 0.105로 (0.5, 0.8, 0.8, 0.8)의 0.223보다 작지만, 문장 확률은 0.0073으로 0.256보다 작다.
코드로 확인하기
probs는 모델이 위치마다 낸 이다. 곱(식 (2))과 로그의 합(식 (3))이 같은 문장 확률을 주고, 400토큰에서는 곱만 0으로 무너진다.
import numpy as np
# 문장 "나는 밥을 먹었다 <끝>" — 위치마다 모델이 낸 다음 토큰 확률
probs = np.array([0.5, 0.4, 0.7, 0.9]) # Pr(x_i | x_<i), i = 1 … 4
joint = np.prod(probs) # 식 (2): 곱
logp = np.sum(np.log(probs)) # 식 (3): 로그의 합
print(f"joint = {joint:.3f}")
print(f"logp = {logp:.4f} exp(logp) = {np.exp(logp):.3f}")
# 토큰 400개가 저마다 확률 0.1 이면: 곱은 0 이 되고(언더플로), 로그의 합은 남는다
long = np.full(400, 0.1)
print(f"prod = {np.prod(long)} logp = {np.sum(np.log(long)):.2f}")$ python chain_rule.py
joint = 0.126
logp = -2.0715 exp(logp) = 0.126
prod = 0.0 logp = -921.03직접 해보기
- 빨강 3·파랑 2 상자에서 공을 돌려놓지 않고 세 번 뽑는다. 빨강, 빨강, 파랑 순서로 나올 확률은 얼마인가? 돌려놓으면 얼마인가?
- 예시 모델에서 = "나는", = "밥을 먹었다 <끝>"이면 식 (4)의 는 얼마인가?
답
- 식 (2)로 다. 둘째에는 빨강 2·파랑 2, 셋째에는 빨강 1·파랑 2가 남는다. 돌려놓으면 매번 처음 상자라 다.
- 이다. 곧 다.
더 읽기
- Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.6절이 연쇄 법칙(곱 규칙)을, 3.7절이 독립을 다룬다. '결합 확률은 조건부 확률의 곱으로 쪼개진다' §와 '확률의 연쇄 법칙에 대한 흔한 오해' §가 기댄다.
- Speech and Language Processing, 3판 원고 3장 N-gram Language Models — Jurafsky·Martin, 온라인 공개 원고. 단어열의 확률을 연쇄 법칙으로 쪼갠 뒤 그것만으로는 계산이 쉬워지지 않는다고 짚고, 언더플로를 피하려 로그 확률을 쓰며, perplexity로 모델을 평가한다. 기호는 , 처럼 이 페이지와 다르다. '문장의 확률은 왜 다음 토큰 확률의 곱인가' §와 '문장 확률은 왜 곱하지 않고 로그로 더하나' §가 기댄다.
- A Neural Probabilistic Language Model — Bengio·Ducharme·Vincent·Jauvin, 2003. JMLR 3. 결합 분포를 표로 두면 정할 수가 어휘 크기의 거듭제곱으로 늘어난다는 계산에서 출발한다. 앞의 몇 단어(n − 1개)만 보는 신경망 하나와 단어 벡터를 모든 문맥이 함께 써서 표를 피한 원 논문이다. 접두부 전체를 보는 것은 그 뒤의 RNN·트랜스포머 언어 모델이다. 질문 블록 '확률의 연쇄 법칙을 쓰면 확률표가 작아지나?'가 기댄다.
- Perplexity of fixed-length models — Hugging Face Transformers 공식 문서.
labels=input_ids로 넣으면 모델 안에서 한 칸 밀어 손실을 계산하고, perplexity가 그 손실의 지수임을 코드로 보인다. '확률의 연쇄 법칙은 AI에서 어디에 쓰이나' §의 대응표가 기댄다. - Foundations of Large Language Models, 2.1절 A Brief Introduction to LLMs — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 37–56. 식 (2.1)이 토큰 열의 확률을 연쇄 법칙으로 다음 토큰 확률의 곱으로 쪼개고, 식 (2.2)가 같은 식을 로그 확률의 합으로 쓴다. 첫 토큰은 시작 기호로 두고 그 확률을 1로 가정한다. '문장의 확률은 왜 다음 토큰 확률의 곱인가' §와 '문장 확률은 왜 곱하지 않고 로그로 더하나' §가 기댄다.
영상 노트
- 00:00 오프닝 질문 — "문장의 확률은 왜 다음 토큰 확률의 곱일까?"
- 00:40 갈림길 1,000명이 126명이 되기까지 (직관)
- 01:30 식 (1) 판서 — 메일 예시 0.30 × 0.80 = 0.24, 쪼개는 순서를 바꿔도 0.24
- 02:40 식 (2) 판서와 그림 1 — 0.5 × 0.4 × 0.7 × 0.9 = 0.126
- 04:00 그림 2 — 1,296칸·칸, 연쇄 법칙만으로는 표가 줄지 않고 함수 하나를 공유해 줄인다
- 05:20 공 상자 — 돌려놓지 않으면 0.3, 돌려놓으면 0.24 (독립)
- 06:30 식 (3)·식 (4) — 로그로 더하기, 이어지는 문장의 점수
- 07:40
logits와labels한 칸 밀기 · 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 4, 그림 2, 코드랩 1)
- 2026-11-05 · 검수 — 더 읽기 URL 4개(DL 3장 절 번호·SLP3 2026-08 원고 3장·JMLR·Transformers perplexity 문서)와 PyTorch 2.15 cross_entropy 문서 확인, Wikidata Q17004731, 허브·조건부 확률 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 주변화 페이지 링크 연결
- 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
- 2026-11-05 · 남은 질문(n-gram, 마르코프 가정)을 마르코프 가정 페이지(예정)로 넘김
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-13 · 독자 패널 리뷰 반영 — 곱의 '누적 확률'을 '거기까지의 확률'로, 미분의 연쇄법칙·역전파 페이지 링크, 확률의 곱셈정리 질문 블록, 직관 대응 문단에서 기호를 뺌, 질문 라벨에 '확률의' (에이전트 수정, 다시 검토 전)