확률·통계확률의 기초허브

확률의 기초

Probability Basics

확률의 기초는 언어 모델(LLM)의 수식을 읽는 데 필요한 다섯 장(조건부 확률·연쇄 법칙·주변화·샘플링·베이즈 정리)의 입구다. 메일 100통 표의 24/38 ≈ 0.632와 문장 확률 0.5 × 0.4 × 0.7 × 0.9 = 0.126을 예시로, 읽는 순서와 공통 기호를 정한다.

읽는 순서
  1. 조건부 확률
  2. 확률의 연쇄 법칙
  3. 주변화
  4. 분포에서 샘플링
  5. 베이즈 정리
읽는 시간
약 5분

LLM을 읽는 데 필요한 확률 계산은 다섯 가지다

GPT 같은 언어 모델(LLM)은 앞 문장을 조건으로 다음 토큰(문장을 자른 조각)의 확률을 매긴다. 그 확률을 다루는 계산이 다섯 가지다. 조건에 맞는 경우만 남겨 다시 재고(조건부 확률), 토큰마다의 확률을 곱해 문장의 확률을 만들고(연쇄 법칙), 관심 없는 경우를 더해 없앤다(주변화). 확률대로 하나를 뽑고(샘플링), '스팸이면 링크가 있다'를 '링크가 있으면 스팸이다'로 뒤집는다(베이즈 정리).

다섯 장은 같은 기호를 쓴다. 예시는 주로 둘(메일 100통 표, 어휘 6개 언어 모델)이고, 장에 따라 작은 예시를 더한다.

읽는 순서 — 조건부 확률이 먼저인 이유

첫 장이 분포와 조건부 확률을 정의하고 나머지 장이 그것을 쓰기 때문이다. 연쇄 법칙과 베이즈 정리는 그 정의를 곱과 역으로 쓰고, 주변화는 합의 규칙에서, 샘플링은 분포 벡터에서 출발한다.

  1. 조건부 확률 — 조건을 걸면 왜 분모가 바뀌나. 확률분포·조건부 확률·독립을 메일 100통 표로 정의한다.
  2. 확률의 연쇄 법칙 — 문장의 확률은 왜 다음 토큰 확률의 곱인가. 결합 확률을 조건부 확률의 곱으로 쪼갠다.
  3. 주변화 — 관심 없는 변수는 어떻게 없애나. 결합 확률을 그 변수의 값마다 더한다.
  4. 분포에서 샘플링 — LLM은 다음 토큰을 어떻게 뽑나. 누적 확률과 균등 난수 하나로 칸을 고른다.
  5. 베이즈 정리 — 경고가 떠도 사기일 확률은 왜 9%뿐인가. 확률의 곱셈정리 두 꼴을 같다고 놓아 조건의 방향을 뒤집는다.

조건부 확률부터 베이즈 정리까지 한눈에 비교

장핵심 식무엇이 다른가AI에서
조건부 확률Pr⁡(a∣b)=Pr⁡(a,b)/Pr⁡(b)\Pr(a \mid b) = \Pr(a, b) / \Pr(b)분모를 Pr⁡(b)\Pr(b)로 바꾼다다음 토큰 분포 Pr⁡(⋅∣x<i)\Pr(\cdot \mid x_{<i})
확률의 연쇄 법칙Pr⁡(x1,…,xL)=∏i=1LPr⁡(xi∣x<i)\Pr(x_1, \dots, x_L) = \prod_{i=1}^{L} \Pr(x_i \mid x_{<i})결합을 조건부의 곱으로 쪼갠다문장의 확률. 음의 로그 합이 학습 손실
주변화Pr⁡(b)=∑aPr⁡(a,b)\Pr(b) = \sum_{a} \Pr(a, b)관심 없는 변수를 합으로 없앤다혼합 모델의 확률, 베이즈 정리의 분모
분포에서 샘플링a∼Pr⁡(⋅)a \sim \Pr(\cdot), min⁡{k∣u<ck}\min\{k \mid u < c_k\}분포에서 값을 하나 뽑는다생성(디코딩)
베이즈 정리Pr⁡(a∣b)=Pr⁡(b∣a)Pr⁡(a)/Pr⁡(b)\Pr(a \mid b) = \Pr(b \mid a)\Pr(a) / \Pr(b)조건과 대상의 자리를 바꾼다나이브 베이즈 스팸 분류

공통 기호표

정의
기호이름원어뜻
a,ba, b사건·값event, value일어날 수 있는 일이나 변수의 값 하나
¬a\lnot a여사건complementaa가 아닌 경우
Pr⁡(a)\Pr(a)확률probabilityaa가 일어날 몫(0~1). 문헌에 따라 P(a)P(a), p(a)p(a)
Pr⁡(a,b)\Pr(a, b)결합 확률joint probabilityaa와 bb가 함께 일어날 확률. Pr⁡(b,a)\Pr(b, a)와 같다
Pr⁡(b)\Pr(b)주변 확률marginal probability결합 확률을 aa 쪽으로 다 더해 bb만 남긴 확률. 표의 행 합·열 합
Pr⁡(a∣b)\Pr(a \mid b)조건부 확률conditional probabilitybb가 일어난 경우만 놓고 잰 aa의 확률. 세로 막대 ∣\mid는 '조건'이다
Pr⁡(⋅∣b)\Pr(\cdot \mid b)조건부 분포conditional distributionbb를 고정하고 재는 쪽의 모든 값에 매긴 분포
p=(p1,…,pK)\mathbf{p} = (p_1, \dots, p_K)분포 벡터probability vector겹치지 않고 빠짐없는 KK칸의 확률. pk≥0p_k \ge 0, ∑k=1Kpk=1\sum_{k=1}^{K} p_k = 1
VV, ∣V∣\lvert V \rvert어휘, 어휘 크기vocabulary, vocabulary size토큰 전체와 그 개수(세로 막대는 집합의 크기)
x1,…,xLx_1, \dots, x_L문장sequence토큰 LL개의 열. xix_i는 ii번째 토큰
x<ix_{<i}접두부prefixxix_i보다 앞의 토큰 x1,…,xi−1x_1, \dots, x_{i-1}. i=1i = 1이면 비어 있다
a∼Pr⁡(⋅)a \sim \Pr(\cdot)샘플sample분포 Pr⁡\Pr를 따라 뽑은 값 aa
ckc_k누적 확률cumulative probabilityck=∑j≤kpjc_k = \sum_{j \le k} p_j
u∼U(0,1)u \sim U(0, 1)균등 난수uniform random number0과 1 사이에서 고르게 뽑은 수
Pr⁡(a)\Pr(a), Pr⁡(b∣a)\Pr(b \mid a), Pr⁡(a∣b)\Pr(a \mid b), Pr⁡(b)\Pr(b)사전·우도·사후·증거prior, likelihood, posterior, evidenceaa가 원인, bb가 관찰일 때의 이름
∑\sum, ∏\prod, log⁡\log합, 곱, 로그sum, product, logarithm로그는 자연로그

고등학교 '확률과 통계'의 P(A)P(A), P(A∩B)P(A \cap B), P(B∣A)P(B \mid A), ACA^C가 이 사이트의 Pr⁡(a)\Pr(a), Pr⁡(a,b)\Pr(a, b), Pr⁡(b∣a)\Pr(b \mid a), ¬a\lnot a다. 확률의 곱셈정리는 연쇄 법칙 장에, 사건의 독립과 종속은 첫 장에 있다.

같은 예시 — 분할표 하나와 작은 언어 모델 하나

다섯 장은 주로 예시 둘을 같이 쓴다. 하나는 메일 100통을 스팸(aa)과 링크(bb)로 나눈 분할표다.

bb 링크 있음¬b\lnot b 링크 없음합
aa 스팸24630
¬a\lnot a 정상145670
합3862100

네 칸을 100으로 나누면 결합 확률(24/100=0.2424/100 = 0.24)이고, 행 합·열 합을 100으로 나누면 한쪽만 본 주변 확률(38/100=0.3838/100 = 0.38)이다. 링크 열 38통 안에서 다시 나누면 조건부 확률이다. 같은 표에서 Pr⁡(b∣a)=24/30=0.80\Pr(b \mid a) = 24/30 = 0.80과 Pr⁡(a∣b)=24/38≈0.632\Pr(a \mid b) = 24/38 \approx 0.632가 함께 나와, 조건부 확률·주변화·베이즈를 한 표로 맞대어 볼 수 있다.

다른 하나는 어휘가 여섯 개(나는·밥을·먹었다·학교에·갔다·<끝>)뿐인 언어 모델이다. 길이 4 문장은 64=12966^4 = 1296가지라 다 셀 수 있다. 어휘 10,000개에 길이 10이면 104010^{40}가지라 표에 적을 수 없다. 그래서 신경망 하나가 앞부분을 받아 다음 토큰의 분포를 내게 하고, 그 확률을 곱해 문장의 확률을 얻고(연쇄 법칙) 그 분포에서 뽑는다(샘플링).

문장 "나는 밥을 먹었다 <끝>"의 확률은 토큰마다의 조건부 확률 0.5, 0.4, 0.7, 0.9를 곱한 0.126이다. 그림 1은 두 예시를 나란히 그렸다.

메일 100통의 분할표를 넓이로(왼쪽), 문장 "나는 밥을 먹었다 <끝>"을 고르는 길을 나무로(오른쪽) 그린 것. 왼쪽 띠의 높이는 a(스팸) 0.3과 lnot a 0.7, 띠 안의 너비는 그 띠에서 링크가 있고(b) 없을 조건부 확률이라 칸의 넓이가 결합 확률 0.24, 0.06, 0.14, 0.56이다. 오른쪽 굵은 선의 조건부 확률을 곱하면 0.126이고, 점선은 다른 토큰으로 가는 몫이다.
그림 1 메일 100통의 분할표를 넓이로(왼쪽), 문장 "나는 밥을 먹었다 <끝>"을 고르는 길을 나무로(오른쪽) 그린 것. 왼쪽 띠의 높이는 aa(스팸) 0.3과 ¬a\lnot a 0.7, 띠 안의 너비는 그 띠에서 링크가 있고(bb) 없을 조건부 확률이라 칸의 넓이가 결합 확률 0.24, 0.06, 0.14, 0.56이다. 오른쪽 굵은 선의 조건부 확률을 곱하면 0.126이고, 점선은 다른 토큰으로 가는 몫이다. figures/table_and_tree.py

샘플링 장은 토큰 후보가 셋인 자리의 분포 p=(0.5,0.3,0.2)\mathbf{p} = (0.5, 0.3, 0.2)와 난수 u=0.63u = 0.63을 더한다. 베이즈 장은 사기 1%, 사기면 경고 90%, 정상이면 경고 9%인 예시를 더한다. 경고가 울려도 사기일 확률은 약 0.092다.

확률의 기초에 들어온 질문

  • 조건을 걸면 왜 분모가 바뀌나 · P(a|b)의 세로 막대는 절댓값이야? · P(a|b)와 P(b|a)는 같아? · 배반이면 독립이야? → 조건부 확률
  • 문장의 확률은 왜 다음 토큰 확률의 곱인가, log Pr(y | x)는 왜 로그 확률의 합이 되나 → 확률의 연쇄 법칙
  • 관심 없는 변수는 어떻게 없애나 → 주변화
  • 확률대로 뽑는다는 것은 코드로 무엇인가 → 분포에서 샘플링
  • 우도가 커도 사후 확률이 작을 수 있는 이유 → 베이즈 정리

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.3절이 확률분포를, 3.4~3.7절이 주변 확률·조건부 확률·연쇄 법칙·독립을 차례로 정의한다. 공통 기호표와 '읽는 순서'가 기댄다.
  • Speech and Language Processing, 3판 3장 N-gram Language Models — Jurafsky·Martin. 문장의 확률을 연쇄 법칙으로 다음 단어 확률의 곱으로 쓰고, 로그 확률을 더해 계산하는 까닭을 보인다. '같은 예시'의 작은 언어 모델이 기댄다.
  • Pattern Recognition and Machine Learning, 1.2절 Probability Theory — C. M. Bishop, 2006. 두 변수의 칸 수를 세는 표에서 합의 규칙(주변화)과 곱의 규칙(확률의 곱셈정리)을 끌어내고 베이즈 정리로 잇는다. '한눈에 비교' 표의 주변화·베이즈 행이 기댄다.
  • Foundations of Large Language Models — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 이 사이트가 따라 읽는 LLM 교재다. 다섯 계산이 이 책의 어디에 나오는지 짚어 두면, 조건부 확률과 곱하기는 2.1절 식 (2.1)이 문장 확률을 다음 토큰 확률의 곱으로 쪼개는 자리에, 더하기는 3.2.4절 식 (3.9)가 프롬프트를 주변화하는 자리와 6.3.2.2절의 자기 일관성에, 뽑기는 5.1.3.3절의 top-k·top-p 샘플링에 있다. 뒤집기(베이즈 정리)는 따로 유도하지 않고, 3.1.2절이 인컨텍스트 러닝을 베이즈 추론으로 보는 해석을 소개하는 정도로 나온다.

지도에서의 위치

이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 0, 그림 1, 코드랩 0)
  2. 2026-11-05 · 검수 — 더 읽기 URL 3개 확인, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성, 공통 예시 (3)은 문장 예시와 별개인 자리로 둠
  3. 2026-11-05 · 연쇄 법칙·샘플링 페이지 링크 연결
  4. 2026-11-05 · 주변화·베이즈 정리 페이지 링크 연결
  5. 2026-11-05 · 남은 질문(연속 변수의 확률 밀도와 기댓값)을 확률분포·기댓값 페이지(예정)로 넘김
  6. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  7. 2026-11-05 · 직접 검토 — 완성으로 올림
  8. 2026-11-13 · 독자 패널 리뷰 반영 — 첫 문단의 다섯 계산을 풀어 쓰고, 결합·주변·조건부 확률과 교과서 표기를 한자리에, 연쇄 법칙과 표 크기 문장 고침, 첫 장 제목을 조건부 확률로 (에이전트 수정, 다시 검토 전)