확률·통계확률의 연쇄 법칙#010

확률의 연쇄 법칙

Chain Rule of Probability

확률의 연쇄 법칙(두 사건이면 곱셈정리)은 결합 확률을 조건부 확률의 곱으로 쓴다. 네 토큰짜리 예시 문장의 확률은 0.5 × 0.4 × 0.7 × 0.9 = 0.126이다. 독립을 가정하지 않는 까닭과 로그로 바꿔 더하는 까닭을 같은 숫자로 확인한다.

주인공 기호
Pr(x_i | x_<i)
읽는 시간
약 12분
선수 개념
조건부 확률

직관 — 갈림길마다 남는 비율을 곱한다

직관

1,000명이 갈림길 네 개가 이어진 길을 걷는다. 첫 갈림길에서 절반인 500명이 왼쪽으로 가고, 그중 40%인 200명이 둘째 갈림길에서도 왼쪽을 고른다. 셋째에서 70%, 넷째에서 90%가 또 왼쪽을 고르면, 네 번 모두 왼쪽으로 간 사람은 126명이다.

1,000명 전체는 확률 1, 갈림길은 문장에서 토큰(문장을 자른 조각)이 놓이는 자리다. 왼쪽 길은 문장에 실제로 나온 토큰이고, 오른쪽 길은 나머지 토큰 전부를 한 갈래로 모은 것이다(그림 1의 점선). '거기까지 온 사람 중' 왼쪽 비율은 조건부 확률, 끝까지 왼쪽만 간 사람의 비율 0.126은 결합 확률이다. 비율을 늘 '거기까지 온 사람'을 기준으로 재는 것이 앞의 토큰 전부를 조건으로 붙이는 일이다.

언어 모델이 문장에 매기는 확률이 이 곱이고, 학습 손실도 이 곱의 로그에서 나온다.

결합 확률은 조건부 확률의 곱으로 쪼개진다

확률의 연쇄 법칙(chain rule of probability)은 여러 일이 함께 일어날 확률을, 하나씩 차례로 일어날 확률의 곱으로 쓰는 등식이다. 영어로는 곱 규칙(product rule)이라고도 부르고, 두 사건일 때는 고교 교과서의 확률의 곱셈정리(확률의 곱셈법칙)다. 각 인수에는 그 앞에 정해진 것 전부를 조건으로 붙인다.11 미분의 연쇄법칙(합성함수의 미분)과는 이름만 같은 다른 규칙이다. 이 페이지의 규칙은 붙여서 '확률의 연쇄법칙'으로도 쓴다. 두 사건이면 조건부 확률의 정의 Pr⁡(b∣a)=Pr⁡(a,b)/Pr⁡(a)\Pr(b \mid a) = \Pr(a, b) / \Pr(a)에서 분모를 넘긴 식 (1)이다(Pr⁡(a)>0\Pr(a) > 0일 때).

Pr⁡(a,b)=Pr⁡(a) Pr⁡(b∣a)(1)\Pr(a, b) = \Pr(a)\, \Pr(b \mid a) \tag{1}

사건이 LL개면 식 (1)을 되풀이해 식 (2)를 얻는다. 문장으로 말하면 토큰 x1,…,xLx_1, \dots, x_L이 이 순서로 나올 확률이다.

Pr⁡(x1,…,xL)=∏i=1LPr⁡(xi∣x<i)(2)\Pr(x_1, \dots, x_L) = \prod_{i=1}^{L} \Pr(x_i \mid x_{<i}) \tag{2}
정의
기호이름원어뜻
a,ba, b사건event일어나거나 일어나지 않는 일. 메일 예시에서 aa = 스팸, bb = 링크 있음
Pr⁡(a)\Pr(a)확률probabilityaa가 일어날 확률. 0 이상 1 이하
Pr⁡(a,b)\Pr(a, b)결합 확률joint probabilityaa와 bb가 함께 일어날 확률
Pr⁡(b∣a)\Pr(b \mid a)조건부 확률conditional probabilityaa가 일어났다는 조건에서 bb가 일어날 확률. 세로 막대는 조건 표시이고 절댓값·크기의 막대와 다르다
x1,…,xLx_1, \dots, x_L문장(토큰열)token sequence토큰 LL개를 차례로 늘어놓은 것. xix_i는 ii번째 토큰이고, 토큰은 문장을 자른 단위다(예시에서는 어절 하나)
LL길이length문장의 토큰 수. 경사하강법 페이지의 손실 LL과 다르다
x<ix_{<i}접두부prefixx1,…,xi−1x_1, \dots, x_{i-1}. x<1x_{<1}은 비어 있어 Pr⁡(x1∣x<1)=Pr⁡(x1)\Pr(x_1 \mid x_{<1}) = \Pr(x_1)
VV, ∣V∣\lvert V \rvert어휘, 어휘 크기vocabulary, vocabulary size토큰이 될 수 있는 것 전부와 그 개수
∏i=1L\prod_{i=1}^{L}곱producti=1i = 1부터 LL까지 곱한다. 합 ∑\sum과 같은 꼴
xx, yy앞 문장, 이어 붙일 문장prefix, continuation토큰열 하나씩. 토큰 xix_i와 같은 글자지만 열 전체를 뜻한다
[x,y][x, y]이어 붙인 문장concatenationxx 뒤에 yy를 붙인 토큰열
log⁡\log자연로그natural logarithm밑이 ee인 로그

기호와 예시는 확률의 기초 허브의 공통 기호표를 따른다. 조건부 확률의 정의는 조건부 확률 페이지에서 다룬다. 교과서의 P(A∩B)P(A \cap B), P(B∣A)P(B \mid A)가 이 페이지의 Pr⁡(a,b)\Pr(a, b), Pr⁡(b∣a)\Pr(b \mid a)다.

허브의 메일 100통으로 식 (1)을 확인해 보자. 스팸이 30통이고(Pr⁡(a)=0.30\Pr(a) = 0.30) 그중 24통에 링크가 있어 Pr⁡(b∣a)=0.80\Pr(b \mid a) = 0.80이다. 그래서 Pr⁡(a,b)=0.30×0.80=0.24\Pr(a, b) = 0.30 \times 0.80 = 0.24이고, '스팸이면서 링크 있음' 칸을 직접 센 24/100과 같다. 링크가 있는 메일은 스팸 24통과 정상 14통, 모두 38통이다(Pr⁡(b)=0.38\Pr(b) = 0.38).

확률의 곱셈정리와 확률의 연쇄 법칙은 같은 건가?

그렇다, 사건이 둘일 때의 확률의 연쇄 법칙이 확률의 곱셈정리다. 교과서의 P(A∩B)=P(A) P(B∣A)P(A \cap B) = P(A)\,P(B \mid A)가 식 (1)이고, 이것을 사건 LL개로 되풀이한 것이 식 (2)다. 메일 예시의 0.30×0.80=0.240.30 \times 0.80 = 0.24가 곱셈정리이고, 예시 문장의 0.5×0.4×0.7×0.9=0.1260.5 \times 0.4 \times 0.7 \times 0.9 = 0.126이 연쇄 법칙이다.

식 (1)을 되풀이하면 식 (2)가 된다

세 토큰이면 앞의 둘 (x1,x2)(x_1, x_2)를 사건 하나로 보고 식 (1)을 쓴다.

Pr⁡(x1,x2,x3)=Pr⁡(x1,x2) Pr⁡(x3∣x1,x2)\Pr(x_1, x_2, x_3) = \Pr(x_1, x_2)\, \Pr(x_3 \mid x_1, x_2)

남은 Pr⁡(x1,x2)\Pr(x_1, x_2)에 식 (1)을 한 번 더 쓰면 Pr⁡(x1) Pr⁡(x2∣x1)\Pr(x_1)\, \Pr(x_2 \mid x_1)이다.

Pr⁡(x1,x2,x3)=Pr⁡(x1) Pr⁡(x2∣x1) Pr⁡(x3∣x1,x2)\Pr(x_1, x_2, x_3) = \Pr(x_1)\, \Pr(x_2 \mid x_1)\, \Pr(x_3 \mid x_1, x_2)

LL개면 맨 끝 토큰을 떼어 내는 이 걸음을 L−1L - 1번 되풀이한다. 떼어 낸 토큰에는 매번 그 앞 토큰 전부가 조건으로 붙으니, 남는 것이 식 (2)다. 각 조건부 확률이 정의되려면 조건의 확률 Pr⁡(x1,…,xi−1)\Pr(x_1, \dots, x_{i-1})이 0보다 커야 한다.

확률의 연쇄 법칙은 쪼개는 순서를 바꿔도 같은 값이 나오나?

그렇다, 순서를 바꿔 쪼개도 결합 확률은 같다. 어떤 순서로 늘어놓든 각 인수에 '그 순서에서 앞선 것 전부'를 조건으로 붙이면 식 (2)가 성립한다. 메일 예시에서 링크 메일 38통 중 스팸이 24통이라 Pr⁡(b) Pr⁡(a∣b)=0.38×(24/38)=0.24\Pr(b)\, \Pr(a \mid b) = 0.38 \times (24/38) = 0.24로, Pr⁡(a) Pr⁡(b∣a)\Pr(a)\, \Pr(b \mid a)와 같다. 언어 모델은 글을 앞에서부터 만들기 때문에 왼쪽에서 오른쪽 순서를 쓴다.

문장의 확률은 왜 다음 토큰 확률의 곱인가

문장은 토큰이 차례로 나오는 결합 사건이라, 식 (2)가 그대로 문장의 확률이 된다. 예시 모델에서 문장 "나는 밥을 먹었다 <끝>"의 확률은 0.5×0.4×0.7×0.9=0.1260.5 \times 0.4 \times 0.7 \times 0.9 = 0.126이다.

예시 모델의 어휘는 나는·밥을·먹었다·학교에·갔다·<끝> 여섯 개다(∣V∣=6|V| = 6). <끝>은 문장이 끝났다는 표시 토큰이다. 모델은 접두부마다 어휘 6개 각각에 확률을 매긴 다음 토큰 분포(합이 1)를 낸다.

이 모델에서 첫 토큰이 "나는"일 확률은 0.5, "나는" 다음이 "밥을"일 확률은 0.4다. "나는 밥을" 다음이 "먹었다"일 확률은 0.7, "나는 밥을 먹었다" 다음이 <끝>일 확률은 0.9다.

그림 1의 가지를 따라 곱하면 거기까지의 확률이 0.5, 0.2, 0.14, 0.126으로 줄어든다. 갈림마다 다른 토큰으로 가는 가지(점선)의 확률은 1−0.51 - 0.5, 1−0.41 - 0.4처럼 나머지다. 가지 끝의 확률 0.5, 0.3, 0.06, 0.014와 0.126을 모두 더하면 1이다.

작은 언어 모델에서 문장 x_1, …, x_4 = "나는 밥을 먹었다 <끝>"의 확률 트리(수형도). 굵은 가지의 숫자는 조건부 확률 Pr(x_i | x_<i)이고, 점 아래 굵은 숫자는 거기까지의 곱이다. 점선은 다른 토큰으로 가는 가지를 하나로 모은 것이며, 가지 끝의 확률을 모두 더하면 1이다.
그림 1 작은 언어 모델에서 문장 x1,…,x4x_1, \dots, x_4 = "나는 밥을 먹었다 <끝>"의 확률 트리(수형도). 굵은 가지의 숫자는 조건부 확률 Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i})이고, 점 아래 굵은 숫자는 거기까지의 곱이다. 점선은 다른 토큰으로 가는 가지를 하나로 모은 것이며, 가지 끝의 확률을 모두 더하면 1이다. figures/probability_tree.py

이것이 왜 중요한가. 문장마다 확률을 표로 적으면 칸이 ∣V∣L|V|^L개 필요하다. 예시 모델의 길이 4 문장만 해도 64=12966^4 = 1296칸이고, 어휘 10,000개·길이 10이면 10,00010=104010{,}000^{10} = 10^{40}칸이다.

연쇄 법칙은 이 표를 '접두부를 받아 다음 토큰 분포를 내는' 문제로 바꾼다. 다만 접두부마다 표를 따로 두면 칸 수는 거의 그대로다(그림 2의 점선, 아래 질문 블록). 언어 모델은 모든 접두부를 함수 하나(신경망)로 처리해 이 벽을 넘는다. 그 함수는 문장 하나를 평가할 때 위치 LL개마다 ∣V∣|V|개의 확률, 곧 L∣V∣L|V|개를 낸다(그림 2에서 24개와 10510^5개).

문장 길이 L에 따른 개수(로그 눈금). 왼쪽은 어휘 |V| = 6, 오른쪽은 |V| = 10,000이다. 위로 치솟는 선은 결합 확률표의 칸 수 |V|^L로, |V| = 6·L = 4에서 1,296, |V| = 10,000·L = 10에서 10^40이다. 점선은 접두부마다 다음 토큰 표를 둔 칸 수 Σ_i=1^L |V|^i이고 로그 눈금에서 위 선과 거의 겹친다. 바닥의 선은 모델이 문장 하나를 평가할 때 내는 확률의 수 L|V|로, 24와 10^5이다.
그림 2 문장 길이 LL에 따른 개수(로그 눈금). 왼쪽은 어휘 ∣V∣=6|V| = 6, 오른쪽은 ∣V∣=10,000|V| = 10{,}000이다. 위로 치솟는 선은 결합 확률표의 칸 수 ∣V∣L|V|^L로, ∣V∣=6|V| = 6·L=4L = 4에서 1,296, ∣V∣=10,000|V| = 10{,}000·L=10L = 10에서 104010^{40}이다. 점선은 접두부마다 다음 토큰 표를 둔 칸 수 ∑i=1L∣V∣i\sum_{i=1}^{L} |V|^i이고 로그 눈금에서 위 선과 거의 겹친다. 바닥의 선은 모델이 문장 하나를 평가할 때 내는 확률의 수 L∣V∣L|V|로, 24와 10510^5이다. figures/table_size.py
핵심

문장의 확률은 확률의 연쇄 법칙에 따라 다음 토큰 확률을 앞에서부터 곱한 것이다. 각 확률에 앞의 토큰 전부를 조건으로 붙이므로 독립을 가정하지 않는다.

확률의 연쇄 법칙을 쓰면 확률표가 작아지나?

아니다, 확률의 연쇄 법칙만으로는 확률표가 작아지지 않는다. 길이 4 문장을 접두부마다 표로 적으면 접두부 1+6+36+216=2591 + 6 + 36 + 216 = 259개에 6칸씩, ∑i=146i=1554\sum_{i=1}^{4} 6^i = 1554칸이다. 합이 1이라 표마다 하나씩 빼고 세면 결합 확률표도 접두부 표도 1,295개를 정해야 한다. 줄이는 것은 접두부를 신경망 하나로 처리하는 설계이고, Bengio 외(2003)가 앞의 몇 단어만 보는 신경망으로 이 길을 열었다.

공을 돌려놓지 않으면 왜 조건이 필요한가

앞의 결과가 뒤의 확률을 바꾸기 때문이다. 빨간 공 3개와 파란 공 2개가 든 상자에서 두 번 뽑으면, 첫 공이 빨강일 확률은 3/5 = 0.6이다. 그 공을 돌려놓지 않으면(비복원 추출) 상자에 빨강 2·파랑 2가 남아, 둘째가 파랑일 확률은 2/4 = 0.5가 된다.

식 (1)로 '첫째 빨강, 둘째 파랑'의 확률은 0.6 × 0.5 = 0.3이다. 공을 돌려놓으면 둘째가 파랑일 확률은 첫째와 상관없이 2/5 = 0.4라서 0.6 × 0.4 = 0.24다. 이처럼 조건이 확률을 바꾸지 않는 경우를 독립(independence)이라 한다. 모든 ii에서 Pr⁡(xi∣x<i)=Pr⁡(xi)\Pr(x_i \mid x_{<i}) = \Pr(x_i)일 만큼 토큰들이 서로 독립(상호 독립)이면, 식 (2)의 조건을 떼어 낼 수 있다. 둘씩만 독립인 것으로는 부족하다.

돌려놓지 않는 뽑기도 순서를 바꿔 쪼갤 수 있다. 둘째가 파랑일 확률은 두 갈래(빨강 뒤 파랑 0.3, 파랑 뒤 파랑 0.1)를 더한 0.4다.22 갈래를 더해 한 사건의 확률을 얻는 일을 주변화라 한다. 주변화 페이지에서 다룬다. 둘째가 파랑이라는 조건에서 첫째가 빨강일 확률은 0.3/0.4 = 0.75이니, 반대 순서로도 0.4 × 0.75 = 0.3이다.

독립이 아니어도 확률의 연쇄 법칙을 쓸 수 있나?

그렇다, 확률의 연쇄 법칙은 독립이 아니어도 쓸 수 있다. 식 (2)는 조건부 확률의 정의만으로 나오는 등식이라, 조건의 확률이 0보다 크면 독립이든 아니든 성립한다. 모든 토큰이 서로 독립이면 조건이 떨어져 Pr⁡(xi∣x<i)=Pr⁡(xi)\Pr(x_i \mid x_{<i}) = \Pr(x_i)가 될 뿐이다. 공을 돌려놓지 않으면 둘째 파랑의 조건부 확률 0.5가 조건 없는 확률 0.4와 다르지만, 0.6 × 0.5 = 0.3이 그대로 맞다.

문장 확률은 왜 곱하지 않고 로그로 더하나

긴 문장의 확률을 그대로 곱하면 컴퓨터가 나타낼 수 있는 가장 작은 양수의 절반보다 작아져 0으로 반올림되기(언더플로, underflow) 때문이다. 로그를 취하면 곱이 합으로 바뀌어(식 (3)), 길이에 따라 절댓값이 커지는 음수 하나로 남는다.

log⁡Pr⁡(x1,…,xL)=∑i=1Llog⁡Pr⁡(xi∣x<i)(3)\log \Pr(x_1, \dots, x_L) = \sum_{i=1}^{L} \log \Pr(x_i \mid x_{<i}) \tag{3}

예시 문장은 log⁡0.5+log⁡0.4+log⁡0.7+log⁡0.9≈−0.693−0.916−0.357−0.105=−2.071\log 0.5 + \log 0.4 + \log 0.7 + \log 0.9 \approx -0.693 - 0.916 - 0.357 - 0.105 = -2.071이고, e−2.071≈0.126e^{-2.071} \approx 0.126이다. 로그의 성질은 로그 페이지에서 다룬다.

토큰마다 확률이 0.1인 400토큰 문장은 확률이 10−40010^{-400}이다. 64비트 실수(float64)의 가장 작은 양수는 약 4.9×10−3244.9 \times 10^{-324}라서 곱은 0이 되지만, 로그의 합은 400×log⁡0.1≈−921.03400 \times \log 0.1 \approx -921.03으로 멀쩡하다. 학습에서 흔한 32비트 실수(float32)는 가장 작은 양수가 약 1.4×10−451.4 \times 10^{-45}다. 그래서 10−4510^{-45}는 그 최솟값으로 반올림되어 남지만, 0.1을 46번 곱한 10−4610^{-46}은 0이 된다.

문장 xx 뒤에 문장 yy가 이어질 로그 확률은 이어 붙인 문장 [x,y][x, y]의 로그 확률에서 앞 문장의 로그 확률을 뺀 것이다. 여기서 Pr⁡(x)\Pr(x)는 문장이 xx로 시작할 확률이다(xx에서 끝나는 문장의 확률이 아니다).

log⁡Pr⁡(y∣x)=log⁡Pr⁡([x,y])−log⁡Pr⁡(x)(4)\log \Pr(y \mid x) = \log \Pr([x, y]) - \log \Pr(x) \tag{4}
문장 x 뒤에 y가 올 로그 확률 — 식 (4)의 유도

x=(x1,…,xm)x = (x_1, \dots, x_m), y=(y1,…,yn)y = (y_1, \dots, y_n)이고, [x,y][x, y]의 길이는 m+nm + n이다. y<jy_{<j}는 y1,…,yj−1y_1, \dots, y_{j-1}이다.

① 조건부 확률의 정의로 Pr⁡(y∣x)=Pr⁡(x,y)/Pr⁡(x)\Pr(y \mid x) = \Pr(x, y) / \Pr(x)다.

② '앞 mm개가 xx이고 다음 nn개가 yy'는 '앞 m+nm + n개가 [x,y][x, y]'와 같은 사건이라 Pr⁡(x,y)=Pr⁡([x,y])\Pr(x, y) = \Pr([x, y])다.

③ 나눗셈의 로그는 로그의 뺄셈이라 식 (4)가 된다.

④ 두 항을 식 (3)으로 펼치면 앞 mm개 항이 같아서 지워진다. 남는 것은 yy의 토큰마다 'xx와 앞선 yy 전부를 조건으로 한' 로그 확률의 합 ∑j=1nlog⁡Pr⁡(yj∣x,y<j)\sum_{j=1}^{n} \log \Pr(y_j \mid x, y_{<j})다.

예: xx = "나는 밥을", yy = "먹었다 <끝>"이면 log⁡0.126−log⁡0.2≈−2.071−(−1.609)=−0.462\log 0.126 - \log 0.2 \approx -2.071 - (-1.609) = -0.462다. 곧 Pr⁡(y∣x)=0.126/0.2=0.63=0.7×0.9\Pr(y \mid x) = 0.126 / 0.2 = 0.63 = 0.7 \times 0.9다. 언어 모델로 이어지는 문장에 점수를 매기는 일은 이 두 로그 확률의 차를 구하는 것이다. 실제로는 [x,y][x, y]를 한 번 넣고 yy 자리의 로그 확률만 더한다.

확률의 연쇄 법칙에 대한 흔한 오해

  • 확률의 연쇄 법칙은 토큰끼리 독립이라고 가정한다 — 식 (2)는 조건부 확률의 정의만으로 나오는 등식이다. 모든 토큰이 서로 독립이면 조건이 떨어질 뿐이고, 공을 돌려놓지 않아 독립이 아닌 뽑기에서도 0.6 × 0.5 = 0.3이 맞다.
  • 어느 사건을 먼저 놓고 쪼개느냐에 따라 결합 확률이 달라진다 — 순서를 바꾸면 인수는 달라지지만(Pr⁡(b∣a)=0.80\Pr(b \mid a) = 0.80, Pr⁡(a∣b)≈0.632\Pr(a \mid b) \approx 0.632) 곱은 같다. Pr⁡(a∣b)\Pr(a \mid b)를 0.80으로 착각해 0.38×0.80=0.3040.38 \times 0.80 = 0.304를 얻으면 순서가 값을 바꾼 것처럼 보인다. 메일 예시에서 0.30×0.800.30 \times 0.80과 0.38×(24/38)0.38 \times (24/38)은 둘 다 0.24이고, 공 상자에서 0.6×0.50.6 \times 0.5와 0.4×0.750.4 \times 0.75는 둘 다 0.3이다.
  • 확률의 연쇄 법칙은 미분의 연쇄법칙과 같은 규칙이다 — 이름만 같다. 미분의 연쇄법칙은 합성함수의 도함수를 도함수의 곱으로 쓰고, 확률의 연쇄 법칙은 결합 확률을 식 (2)처럼 조건부 확률의 곱으로 쓴다. 역전파가 쓰는 것은 미분 쪽이다.

확률의 연쇄 법칙은 AI에서 어디에 쓰이나

언어 모델 학습의 손실은 식 (3)의 항을 평균 내 부호를 바꾼 것이다. 이것을 교차엔트로피(cross-entropy, 예정) 또는 음의 로그 우도라 부른다.

모델은 문장을 한 번 읽고 모든 위치의 다음 토큰 분포를 한꺼번에 낸다(forward). 인과 마스크가 각 위치에 앞 토큰만 보여 주기 때문이다. 그 손실을 역전파로 미분하고 경사하강법이나 모멘텀 같은 옵티마이저로 줄이면, 학습 문장의 확률이 커진다.

생성할 때는 확률을 계산하는 대신, 다음 토큰 분포에서 하나를 뽑아 접두부에 붙이기를 <끝>까지 되풀이한다(분포에서 샘플링). 그 분포는 모델이 낸 로짓(logits)에 소프트맥스를 씌워 얻는다.

이 페이지PyTorch · Hugging Face Transformers
x1,…,xLx_1, \dots, x_Linput_ids — 토큰 번호를 늘어놓은 텐서, 모양 (배치, L)
∣V∣\lvert V \rvertlogits의 마지막 차원 = model.config.vocab_size. 모델에 따라 임베딩 행렬의 행 수를 늘려 토크나이저의 어휘보다 클 수 있다
Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i}) (분포 전체)인과 언어 모델(AutoModelForCausalLM)에서 xi−1x_{i-1} 자리의 logits에 torch.softmax(..., dim=-1). model(input_ids).logits의 모양은 (배치, L, 어휘 크기)
log⁡Pr⁡(xi∣x<i)\log \Pr(x_i \mid x_{<i})torch.log_softmax(logits, dim=-1)에서 실제 토큰 xix_i의 칸을 gather로 고른 값
식 (3)위 값을 위치마다 더한 .sum(). 시작 토큰이 없으면 x1x_1을 예측할 자리가 없어 log⁡Pr⁡(x2,…,xL∣x1)\log \Pr(x_2, \dots, x_L \mid x_1)이 된다(예시 −1.378)
손실model(input_ids, labels=input_ids).loss — 예측한 위치마다 −log⁡Pr⁡(xi∣x<i)-\log \Pr(x_i \mid x_{<i})를 낸 평균(교차엔트로피). 배치면 전체 토큰의 평균이고, 패딩 자리는 labels를 −100으로 둬야 빠진다(−100은 F.cross_entropy가 건너뛰는 ignore_index의 기본값). 직접 쓰면 F.cross_entropy(logits[:, :-1].reshape(-1, logits.size(-1)), labels[:, 1:].reshape(-1))
perplexity(퍼플렉서티)torch.exp(loss) — 다음 토큰 확률의 기하평균의 역수
labels를 한 칸 밀기xi−1x_{i-1} 자리의 출력이 xix_i의 분포라서, 모델 안에서 logits[:, :-1]과 labels[:, 1:]을 맞춘다

언어 모델의 loss·퍼플렉서티와 문장 확률은 무슨 관계인가

loss는 식 (3)의 항을 예측한 위치 수로 나눈 평균에 부호를 바꾼 값이다. 시작 토큰을 앞에 붙여 x1x_1까지 예측하면 예시 문장의 loss는 2.071/4≈0.5182.071 / 4 \approx 0.518이고, perplexity는 e0.518≈1.68e^{0.518} \approx 1.68이다. 시작 토큰이 없으면 x1x_1을 예측할 자리가 없어 x2x_2부터 셋의 평균 0.459가 된다. 시작 토큰을 붙였을 때는 loss =−log⁡Pr⁡(x1,…,xL)/L= -\log \Pr(x_1, \dots, x_L) / L이라, 길이가 같은 문장끼리 loss가 작을수록 문장의 확률이 크다.33 시작 토큰이 없으면 첫 토큰의 확률이 빠져 이 순서가 뒤집힐 수 있다. 조건부 확률이 (0.01, 0.9, 0.9, 0.9)인 문장은 loss 0.105로 (0.5, 0.8, 0.8, 0.8)의 0.223보다 작지만, 문장 확률은 0.0073으로 0.256보다 작다.

코드로 확인하기

probs는 모델이 위치마다 낸 Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i})이다. 곱(식 (2))과 로그의 합(식 (3))이 같은 문장 확률을 주고, 400토큰에서는 곱만 0으로 무너진다.

수식
Pr⁡(x1,…,xL)=∏i=1LPr⁡(xi∣x<i)(2)\sym{joint}{\Pr(x_1, \dots, x_L)} = \prod_{i=1}^{L} \sym{probs}{\Pr(x_i \mid x_{<i})} \tag{2}log⁡Pr⁡(x1,…,xL)=∑i=1Llog⁡Pr⁡(xi∣x<i)(3)\sym{logp}{\log \Pr(x_1, \dots, x_L)} = \sum_{i=1}^{L} \log \sym{probs}{\Pr(x_i \mid x_{<i})} \tag{3}
코드 figures/chain_rule.py
import numpy as np

# 문장 "나는 밥을 먹었다 <끝>" — 위치마다 모델이 낸 다음 토큰 확률
probs = np.array([0.5, 0.4, 0.7, 0.9])    # Pr(x_i | x_<i), i = 1 … 4

joint = np.prod(probs)                     # 식 (2): 곱
logp = np.sum(np.log(probs))               # 식 (3): 로그의 합
print(f"joint = {joint:.3f}")
print(f"logp  = {logp:.4f}   exp(logp) = {np.exp(logp):.3f}")

# 토큰 400개가 저마다 확률 0.1 이면: 곱은 0 이 되고(언더플로), 로그의 합은 남는다
long = np.full(400, 0.1)
print(f"prod  = {np.prod(long)}   logp = {np.sum(np.log(long)):.2f}")
$ python chain_rule.py
joint = 0.126
logp  = -2.0715   exp(logp) = 0.126
prod  = 0.0   logp = -921.03

직접 해보기

  1. 빨강 3·파랑 2 상자에서 공을 돌려놓지 않고 세 번 뽑는다. 빨강, 빨강, 파랑 순서로 나올 확률은 얼마인가? 돌려놓으면 얼마인가?
  2. 예시 모델에서 xx = "나는", yy = "밥을 먹었다 <끝>"이면 식 (4)의 log⁡Pr⁡(y∣x)\log \Pr(y \mid x)는 얼마인가?
답
  1. 식 (2)로 35×24×23=0.2\frac{3}{5} \times \frac{2}{4} \times \frac{2}{3} = 0.2다. 둘째에는 빨강 2·파랑 2, 셋째에는 빨강 1·파랑 2가 남는다. 돌려놓으면 매번 처음 상자라 0.6×0.6×0.4=0.1440.6 \times 0.6 \times 0.4 = 0.144다.
  2. log⁡0.126−log⁡0.5≈−2.071−(−0.693)=−1.378\log 0.126 - \log 0.5 \approx -2.071 - (-0.693) = -1.378이다. 곧 Pr⁡(y∣x)=0.126/0.5=0.252=0.4×0.7×0.9\Pr(y \mid x) = 0.126 / 0.5 = 0.252 = 0.4 \times 0.7 \times 0.9다.

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.6절이 연쇄 법칙(곱 규칙)을, 3.7절이 독립을 다룬다. '결합 확률은 조건부 확률의 곱으로 쪼개진다' §와 '확률의 연쇄 법칙에 대한 흔한 오해' §가 기댄다.
  • Speech and Language Processing, 3판 원고 3장 N-gram Language Models — Jurafsky·Martin, 온라인 공개 원고. 단어열의 확률을 연쇄 법칙으로 쪼갠 뒤 그것만으로는 계산이 쉬워지지 않는다고 짚고, 언더플로를 피하려 로그 확률을 쓰며, perplexity로 모델을 평가한다. 기호는 PP, w1:nw_{1:n}처럼 이 페이지와 다르다. '문장의 확률은 왜 다음 토큰 확률의 곱인가' §와 '문장 확률은 왜 곱하지 않고 로그로 더하나' §가 기댄다.
  • A Neural Probabilistic Language Model — Bengio·Ducharme·Vincent·Jauvin, 2003. JMLR 3. 결합 분포를 표로 두면 정할 수가 어휘 크기의 거듭제곱으로 늘어난다는 계산에서 출발한다. 앞의 몇 단어(n − 1개)만 보는 신경망 하나와 단어 벡터를 모든 문맥이 함께 써서 표를 피한 원 논문이다. 접두부 전체를 보는 것은 그 뒤의 RNN·트랜스포머 언어 모델이다. 질문 블록 '확률의 연쇄 법칙을 쓰면 확률표가 작아지나?'가 기댄다.
  • Perplexity of fixed-length models — Hugging Face Transformers 공식 문서. labels=input_ids로 넣으면 모델 안에서 한 칸 밀어 손실을 계산하고, perplexity가 그 손실의 지수임을 코드로 보인다. '확률의 연쇄 법칙은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
  • Foundations of Large Language Models, 2.1절 A Brief Introduction to LLMs — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 37–56. 식 (2.1)이 토큰 열의 확률을 연쇄 법칙으로 다음 토큰 확률의 곱으로 쪼개고, 식 (2.2)가 같은 식을 로그 확률의 합으로 쓴다. 첫 토큰은 시작 기호로 두고 그 확률을 1로 가정한다. '문장의 확률은 왜 다음 토큰 확률의 곱인가' §와 '문장 확률은 왜 곱하지 않고 로그로 더하나' §가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "문장의 확률은 왜 다음 토큰 확률의 곱일까?"
  • 00:40 갈림길 1,000명이 126명이 되기까지 (직관)
  • 01:30 식 (1) 판서 — 메일 예시 0.30 × 0.80 = 0.24, 쪼개는 순서를 바꿔도 0.24
  • 02:40 식 (2) 판서와 그림 1 — 0.5 × 0.4 × 0.7 × 0.9 = 0.126
  • 04:00 그림 2 — 1,296칸·104010^{40}칸, 연쇄 법칙만으로는 표가 줄지 않고 함수 하나를 공유해 줄인다
  • 05:20 공 상자 — 돌려놓지 않으면 0.3, 돌려놓으면 0.24 (독립)
  • 06:30 식 (3)·식 (4) — 로그로 더하기, 이어지는 문장의 점수
  • 07:40 logits와 labels 한 칸 밀기 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

시그마 (수열의 합)미적분마르코프 가정예정조건부 확률확률·통계확률의 연쇄 법칙지금 이 페이지분포에서 샘플링확률·통계
선수 개념
이 페이지
다음 개념
완성예정허브(일족)이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 4, 그림 2, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 4개(DL 3장 절 번호·SLP3 2026-08 원고 3장·JMLR·Transformers perplexity 문서)와 PyTorch 2.15 cross_entropy 문서 확인, Wikidata Q17004731, 허브·조건부 확률 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 주변화 페이지 링크 연결
  4. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  5. 2026-11-05 · 남은 질문(n-gram, 마르코프 가정)을 마르코프 가정 페이지(예정)로 넘김
  6. 2026-11-05 · 직접 검토 — 완성으로 올림
  7. 2026-11-13 · 독자 패널 리뷰 반영 — 곱의 '누적 확률'을 '거기까지의 확률'로, 미분의 연쇄법칙·역전파 페이지 링크, 확률의 곱셈정리 질문 블록, 직관 대응 문단에서 기호를 뺌, 질문 라벨에 '확률의' (에이전트 수정, 다시 검토 전)