LLM을 읽는 데 필요한 확률 계산은 다섯 가지다
GPT 같은 언어 모델(LLM)은 앞 문장을 조건으로 다음 토큰(문장을 자른 조각)의 확률을 매긴다. 그 확률을 다루는 계산이 다섯 가지다. 조건에 맞는 경우만 남겨 다시 재고(조건부 확률), 토큰마다의 확률을 곱해 문장의 확률을 만들고(연쇄 법칙), 관심 없는 경우를 더해 없앤다(주변화). 확률대로 하나를 뽑고(샘플링), '스팸이면 링크가 있다'를 '링크가 있으면 스팸이다'로 뒤집는다(베이즈 정리).
다섯 장은 같은 기호를 쓴다. 예시는 주로 둘(메일 100통 표, 어휘 6개 언어 모델)이고, 장에 따라 작은 예시를 더한다.
읽는 순서 — 조건부 확률이 먼저인 이유
첫 장이 분포와 조건부 확률을 정의하고 나머지 장이 그것을 쓰기 때문이다. 연쇄 법칙과 베이즈 정리는 그 정의를 곱과 역으로 쓰고, 주변화는 합의 규칙에서, 샘플링은 분포 벡터에서 출발한다.
- 조건부 확률 — 조건을 걸면 왜 분모가 바뀌나. 확률분포·조건부 확률·독립을 메일 100통 표로 정의한다.
- 확률의 연쇄 법칙 — 문장의 확률은 왜 다음 토큰 확률의 곱인가. 결합 확률을 조건부 확률의 곱으로 쪼갠다.
- 주변화 — 관심 없는 변수는 어떻게 없애나. 결합 확률을 그 변수의 값마다 더한다.
- 분포에서 샘플링 — LLM은 다음 토큰을 어떻게 뽑나. 누적 확률과 균등 난수 하나로 칸을 고른다.
- 베이즈 정리 — 경고가 떠도 사기일 확률은 왜 9%뿐인가. 확률의 곱셈정리 두 꼴을 같다고 놓아 조건의 방향을 뒤집는다.
조건부 확률부터 베이즈 정리까지 한눈에 비교
| 장 | 핵심 식 | 무엇이 다른가 | AI에서 |
|---|---|---|---|
| 조건부 확률 | 분모를 로 바꾼다 | 다음 토큰 분포 | |
| 확률의 연쇄 법칙 | 결합을 조건부의 곱으로 쪼갠다 | 문장의 확률. 음의 로그 합이 학습 손실 | |
| 주변화 | 관심 없는 변수를 합으로 없앤다 | 혼합 모델의 확률, 베이즈 정리의 분모 | |
| 분포에서 샘플링 | , | 분포에서 값을 하나 뽑는다 | 생성(디코딩) |
| 베이즈 정리 | 조건과 대상의 자리를 바꾼다 | 나이브 베이즈 스팸 분류 |
공통 기호표
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 사건·값 | event, value | 일어날 수 있는 일이나 변수의 값 하나 | |
| 여사건 | complement | 가 아닌 경우 | |
| 확률 | probability | 가 일어날 몫(0~1). 문헌에 따라 , | |
| 결합 확률 | joint probability | 와 가 함께 일어날 확률. 와 같다 | |
| 주변 확률 | marginal probability | 결합 확률을 쪽으로 다 더해 만 남긴 확률. 표의 행 합·열 합 | |
| 조건부 확률 | conditional probability | 가 일어난 경우만 놓고 잰 의 확률. 세로 막대 는 '조건'이다 | |
| 조건부 분포 | conditional distribution | 를 고정하고 재는 쪽의 모든 값에 매긴 분포 | |
| 분포 벡터 | probability vector | 겹치지 않고 빠짐없는 칸의 확률. , | |
| , | 어휘, 어휘 크기 | vocabulary, vocabulary size | 토큰 전체와 그 개수(세로 막대는 집합의 크기) |
| 문장 | sequence | 토큰 개의 열. 는 번째 토큰 | |
| 접두부 | prefix | 보다 앞의 토큰 . 이면 비어 있다 | |
| 샘플 | sample | 분포 를 따라 뽑은 값 | |
| 누적 확률 | cumulative probability | ||
| 균등 난수 | uniform random number | 0과 1 사이에서 고르게 뽑은 수 | |
| , , , | 사전·우도·사후·증거 | prior, likelihood, posterior, evidence | 가 원인, 가 관찰일 때의 이름 |
| , , | 합, 곱, 로그 | sum, product, logarithm | 로그는 자연로그 |
고등학교 '확률과 통계'의 , , , 가 이 사이트의 , , , 다. 확률의 곱셈정리는 연쇄 법칙 장에, 사건의 독립과 종속은 첫 장에 있다.
같은 예시 — 분할표 하나와 작은 언어 모델 하나
다섯 장은 주로 예시 둘을 같이 쓴다. 하나는 메일 100통을 스팸()과 링크()로 나눈 분할표다.
| 링크 있음 | 링크 없음 | 합 | |
|---|---|---|---|
| 스팸 | 24 | 6 | 30 |
| 정상 | 14 | 56 | 70 |
| 합 | 38 | 62 | 100 |
네 칸을 100으로 나누면 결합 확률()이고, 행 합·열 합을 100으로 나누면 한쪽만 본 주변 확률()이다. 링크 열 38통 안에서 다시 나누면 조건부 확률이다. 같은 표에서 과 가 함께 나와, 조건부 확률·주변화·베이즈를 한 표로 맞대어 볼 수 있다.
다른 하나는 어휘가 여섯 개(나는·밥을·먹었다·학교에·갔다·<끝>)뿐인 언어 모델이다. 길이 4 문장은 가지라 다 셀 수 있다. 어휘 10,000개에 길이 10이면 가지라 표에 적을 수 없다. 그래서 신경망 하나가 앞부분을 받아 다음 토큰의 분포를 내게 하고, 그 확률을 곱해 문장의 확률을 얻고(연쇄 법칙) 그 분포에서 뽑는다(샘플링).
문장 "나는 밥을 먹었다 <끝>"의 확률은 토큰마다의 조건부 확률 0.5, 0.4, 0.7, 0.9를 곱한 0.126이다. 그림 1은 두 예시를 나란히 그렸다.
figures/table_and_tree.py샘플링 장은 토큰 후보가 셋인 자리의 분포 와 난수 을 더한다. 베이즈 장은 사기 1%, 사기면 경고 90%, 정상이면 경고 9%인 예시를 더한다. 경고가 울려도 사기일 확률은 약 0.092다.
확률의 기초에 들어온 질문
- 조건을 걸면 왜 분모가 바뀌나 · P(a|b)의 세로 막대는 절댓값이야? · P(a|b)와 P(b|a)는 같아? · 배반이면 독립이야? → 조건부 확률
- 문장의 확률은 왜 다음 토큰 확률의 곱인가, log Pr(y | x)는 왜 로그 확률의 합이 되나 → 확률의 연쇄 법칙
- 관심 없는 변수는 어떻게 없애나 → 주변화
- 확률대로 뽑는다는 것은 코드로 무엇인가 → 분포에서 샘플링
- 우도가 커도 사후 확률이 작을 수 있는 이유 → 베이즈 정리
더 읽기
- Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.3절이 확률분포를, 3.4~3.7절이 주변 확률·조건부 확률·연쇄 법칙·독립을 차례로 정의한다. 공통 기호표와 '읽는 순서'가 기댄다.
- Speech and Language Processing, 3판 3장 N-gram Language Models — Jurafsky·Martin. 문장의 확률을 연쇄 법칙으로 다음 단어 확률의 곱으로 쓰고, 로그 확률을 더해 계산하는 까닭을 보인다. '같은 예시'의 작은 언어 모델이 기댄다.
- Pattern Recognition and Machine Learning, 1.2절 Probability Theory — C. M. Bishop, 2006. 두 변수의 칸 수를 세는 표에서 합의 규칙(주변화)과 곱의 규칙(확률의 곱셈정리)을 끌어내고 베이즈 정리로 잇는다. '한눈에 비교' 표의 주변화·베이즈 행이 기댄다.
- Foundations of Large Language Models — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 이 사이트가 따라 읽는 LLM 교재다. 다섯 계산이 이 책의 어디에 나오는지 짚어 두면, 조건부 확률과 곱하기는 2.1절 식 (2.1)이 문장 확률을 다음 토큰 확률의 곱으로 쪼개는 자리에, 더하기는 3.2.4절 식 (3.9)가 프롬프트를 주변화하는 자리와 6.3.2.2절의 자기 일관성에, 뽑기는 5.1.3.3절의 top-k·top-p 샘플링에 있다. 뒤집기(베이즈 정리)는 따로 유도하지 않고, 3.1.2절이 인컨텍스트 러닝을 베이즈 추론으로 보는 해석을 소개하는 정도로 나온다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 0, 그림 1, 코드랩 0)
- 2026-11-05 · 검수 — 더 읽기 URL 3개 확인, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성, 공통 예시 (3)은 문장 예시와 별개인 자리로 둠
- 2026-11-05 · 연쇄 법칙·샘플링 페이지 링크 연결
- 2026-11-05 · 주변화·베이즈 정리 페이지 링크 연결
- 2026-11-05 · 남은 질문(연속 변수의 확률 밀도와 기댓값)을 확률분포·기댓값 페이지(예정)로 넘김
- 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-13 · 독자 패널 리뷰 반영 — 첫 문단의 다섯 계산을 풀어 쓰고, 결합·주변·조건부 확률과 교과서 표기를 한자리에, 연쇄 법칙과 표 크기 문장 고침, 첫 장 제목을 조건부 확률로 (에이전트 수정, 다시 검토 전)