미적분로그 함수#007

로그 함수

Logarithm

로그는 지수함수를 거꾸로 푼 함수로, 곱을 합으로 바꾼다. 확률 0.9, 0.5, 0.01을 되풀이해 float64로 곱하면 414개째에 0이 되지만, 로그의 합은 −745.7로 남는다. 로그의 성질, 자연로그 ln과 상용로그의 차이, log-sum-exp까지 같은 숫자로 확인한다.

주인공 기호
log
읽는 시간
약 12분
선수 개념
지수함수

직관 — 곱셈을 0의 개수 덧셈으로

직관

100 × 1,000은 0의 개수만 세면 된다. 0이 두 개인 수와 세 개인 수를 곱하면 0이 다섯 개인 100,000이다. 곱셈이 0의 개수끼리의 덧셈으로 바뀐 것이다.

여기서 0의 개수가 로그이고, 10이 그 로그의 밑이다. 로그는 이 '0의 개수'를 모든 양수로 넓힌 것이다. 2는 0이 약 0.301개(log⁡102≈0.301\log_{10} 2 \approx 0.301)이고, 1을 100으로 나눈 0.01은 0을 두 개 지운 셈이라 −2개다. AI에서는 밑으로 10 대신 e≈2.718e \approx 2.718을 쓰고, 이것을 자연로그라 한다.

로그는 지수함수를 거꾸로 푼 함수다

log⁡bx\log_b x는 밑 bb를 몇 제곱해야 xx가 되는지를 묻는 값이다(xx를 진수라 한다). 그래서 로그는 지수함수 byb^y를 거꾸로 푼 함수(역함수)다.

y=log⁡bx  ⟺  by=x(b>0, b≠1, x>0)(1)y = \log_b x \iff b^y = x \qquad (b > 0,\ b \ne 1,\ x > 0) \tag{1}

아래 표에서 처음에는 위 다섯 줄만 보면 된다. 나머지 줄은 뒤 §에서 쓴다.

정의
기호이름원어뜻
log⁡bx\log_b x밑이 bb인 로그logarithmbb를 몇 제곱해야 xx가 되나. x>0x > 0에서만 정의된다. 이것을 xx의 함수로 본 것이 로그 함수(교과서 표기로는 로그함수)다
bb밑base주로 ee, 2, 10을 쓴다
log⁡x\log x자연로그natural logarithm밑이 ee인 로그. ln⁡x\ln x로도 쓴다. 이 사이트와 NumPy·PyTorch의 log가 이것이고, 밑이 2·10이면 log⁡2\log_2·log⁡10\log_{10}으로 적는다
ee자연상수Euler's numbere≈2.718e \approx 2.718
exe^x, exp⁡(x)\exp(x)지수함수exponential functionee를 xx제곱한 값. log⁡\log의 역함수
pp, pip_i확률probability모델이 정답에 준 확률, ii번째 데이터의 그 확률. 0<p≤10 < p \le 1
nn데이터 수number of examples확률을 곱하거나 더하는 개수
LL손실loss정답 확률의 −log⁡-\log를 평균 낸 값. 작을수록 좋다
z\mathbf{z}, zjz_j, KK로짓, 클래스 수logit, number of classes소프트맥스에 들어가는 클래스별 점수 KK개
ss, tt, rr양수, 실수positive number, real number식 (2)·(3)에 넣는 아무 양수 ss, tt와 아무 실수 rr
mm가장 큰 로짓maximum logitm=max⁡jzjm = \max_j z_j. 식 (8)에서 먼저 뺀다
θ\theta, f(θ)f(\theta)파라미터, 우도(가능도)parameter, likelihood동전 예에서 앞면이 나올 확률과, 던진 순서까지 정해진 관찰 결과가 그 θ\theta에서 나올 확률

고등학교 교과서에서 밑 없는 log⁡x\log x는 상용로그(밑 10)이고, 자연로그는 ln⁡x\ln x로 쓴다. 이 페이지의 log⁡\log는 자연로그다.

b=eb = e로 두면 log⁡\log와 exp⁡\exp는 서로를 되돌린다. log⁡ex=x\log e^x = x이고 elog⁡x=xe^{\log x} = x다. 그래서 그림 1 왼쪽의 두 곡선은 대각선 y=xy = x를 사이에 두고 거울처럼 마주 본다. exe^x 위의 점 (0,1)(0, 1), (1,e)(1, e)가 log⁡x\log x 위에서는 (1,0)(1, 0), (e,1)(e, 1)로 뒤바뀐다.

왼쪽: 지수함수 e^x(회색)와 자연로그 log x(파랑)는 y = x(점선)에 대해 대칭이다. 점 (0, 1)과 (1, 0), (1, e)와 (e, 1)이 짝이다. 오른쪽: 0 < p ≤ 1에서 -log p. p = 0.9, 0.5, 0.01이면 0.105, 0.693, 4.605이고, p = 1에서 0, p가 0에 다가갈수록 끝없이 커진다.
그림 1 왼쪽: 지수함수 exe^x(회색)와 자연로그 log⁡x\log x(파랑)는 y=xy = x(점선)에 대해 대칭이다. 점 (0,1)(0, 1)과 (1,0)(1, 0), (1,e)(1, e)와 (e,1)(e, 1)이 짝이다. 오른쪽: 0<p≤10 < p \le 1에서 −log⁡p-\log p. p=0.9p = 0.9, 0.50.5, 0.010.01이면 0.105, 0.693, 4.605이고, p=1p = 1에서 0, pp가 0에 다가갈수록 끝없이 커진다. figures/log_curves.py

세 가지가 그림에서 바로 보인다. 로그는 x>0x > 0에서만 정의되고, log⁡1=0\log 1 = 0이며, xx가 0에 다가가면 −∞-\infty로 떨어진다. 그래서 0과 1 사이의 확률은 로그가 음수이고, 부호를 바꾼 −log⁡p-\log p는 0 이상이다.

로그는 곱을 합으로 바꾼다

로그는 곱을 합으로, 나눗셈을 뺄셈으로, 거듭제곱을 곱으로 바꾼다(교과서의 '로그의 성질'). 모두 지수법칙 euev=eu+ve^u e^v = e^{u+v}(ee를 uu번, vv번 곱해 이으면 u+vu+v번 곱한 것)를 거꾸로 읽은 것이다. 아래 식에서 ss, tt는 양수, rr은 실수다.

log⁡(st)=log⁡s+log⁡t(2)\log(st) = \log s + \log t \tag{2} log⁡st=log⁡s−log⁡t,log⁡sr=rlog⁡s(3)\log \frac{s}{t} = \log s - \log t, \qquad \log s^r = r \log s \tag{3}
식 (2)는 왜 성립하나

log⁡s=u\log s = u, log⁡t=v\log t = v로 두면 식 (1)에서 s=eus = e^u, t=evt = e^v다. 그러면 st=euev=eu+vst = e^u e^v = e^{u+v}이고, 다시 식 (1)로 log⁡(st)=u+v\log(st) = u + v다. 나눗셈은 eu/ev=eu−ve^u / e^v = e^{u-v}, 거듭제곱은 (eu)r=eru(e^u)^r = e^{ru}로 같은 방식이다.

세 확률 0.9, 0.5, 0.01로 확인해 보자. 곱은 0.9×0.5×0.01=0.00450.9 \times 0.5 \times 0.01 = 0.0045이고, log⁡0.0045≈−5.404\log 0.0045 \approx -5.404다. 각각의 로그 −0.105-0.105, −0.693-0.693, −4.605-4.605를 반올림 전 값으로 더해도 −5.4037-5.4037, 곧 약 −5.404-5.404다. 항이 nn개면 식 (2)를 거듭 써서 곱 ∏\prod가 합 ∑\sum이 된다(시그마 페이지의 기호).

log⁡∏i=1npi=∑i=1nlog⁡pi(4)\log \prod_{i=1}^{n} p_i = \sum_{i=1}^{n} \log p_i \tag{4}

왜 확률을 곱하지 않고 로그를 더하나

확률을 많이 곱하면 컴퓨터가 0으로 반올림해 버리기 때문이다(언더플로). 0.9, 0.5, 0.01을 되풀이해 컴퓨터의 64비트 실수(float64)로 곱하면 414개째에 0이 되지만, 로그의 합은 −745.7로 남는다. 로그의 합은 절댓값이 n×n \times(평균 −log⁡p-\log p)로 커질 뿐이라 사라지지 않는다.

모델이 데이터 nn개의 정답에 준 확률이 p1,…,pnp_1, \dots, p_n이라 하자. 데이터가 서로 독립이라고 보면, 모델이 전체를 맞힐 확률(우도, 가능도)은 곱 ∏ipi\prod_i p_i다. 그림 2는 세 확률 0.9, 0.5, 0.01이 차례로 되풀이되는 데이터 nn개에서 이 곱과 로그합을 잰 것이다.

세 확률 0.9, 0.5, 0.01이 차례로 되풀이되는 데이터 n개에서, 로그의 합(실선)과 float64로 곱한 뒤 씌운 로그(점선). 둘은 겹쳐 내려가다가, 곱이 정밀도를 다 지키는 가장 작은 수(정규 양수) 아래(음영, 로그로 −708.4 밑)로 내려간 뒤 n = 414에서 0이 되어 점선이 끊긴다. 로그합은 n = 600에서도 −1080.7이다.
그림 2 세 확률 0.9, 0.5, 0.01이 차례로 되풀이되는 데이터 nn개에서, 로그의 합(실선)과 float64로 곱한 뒤 씌운 로그(점선). 둘은 겹쳐 내려가다가, 곱이 정밀도를 다 지키는 가장 작은 수(정규 양수) 아래(음영, 로그로 −708.4 밑)로 내려간 뒤 n=414n = 414에서 0이 되어 점선이 끊긴다. 로그합은 n=600n = 600에서도 −1080.7이다. figures/log_underflow.py

float64로 곱하면 n=395n = 395부터 가장 작은 정규 양수 약 2.2×10−3082.2 \times 10^{-308} 아래로 내려가 정밀도를 잃고, n=414n = 414에서 0이 된다.11 정규 양수는 float64가 정밀도(십진 약 16자리)를 다 지키는 수이고, 그 가장 작은 값이 약 2.2×10−3082.2 \times 10^{-308}이다. 그 아래로는 자릿수를 잃으며 약 4.9×10−3244.9 \times 10^{-324}(로그 −744.4)까지 버티다가 0이 된다. 0이 된 곱에는 로그를 씌울 수도 없다.

숫자는 식 (4)에서 나온다. 세 개마다 로그합이 5.4037씩 줄어, 395는 131묶음과 두 개(131×(−5.4037)−0.105−0.693≈−708.7131 \times (-5.4037) - 0.105 - 0.693 \approx -708.7)에서 처음 −708.4 아래로 내려가는 자리다. 414는 138묶음(138×(−5.4037)≈−745.7138 \times (-5.4037) \approx -745.7)으로 처음 −744.4 아래로 내려가 0이 되는 자리다. 로그합은 n=600n = 600(200묶음)에서도 200×(−5.4037)≈−1080.7200 \times (-5.4037) \approx -1080.7로 멀쩡하다.22 PyTorch의 기본 자료형 float32는 범위가 훨씬 좁아, 같은 곱이 n=51n = 51부터 정규 범위 밖이고 n=60n = 60에서 0이 된다.

학습에서 쓰는 손실은 이 로그합을 데이터 수로 나누고 부호를 바꾼 것이다. 정답이 하나인 분류에서는 이것이 교차엔트로피 손실이다.

L=−1n∑i=1nlog⁡pi(5)L = -\frac{1}{n} \sum_{i=1}^{n} \log p_i \tag{5}

세 확률이면 L=5.404/3≈1.801L = 5.404 / 3 \approx 1.801이다. 그림 1 오른쪽처럼 데이터마다 −log⁡pi-\log p_i를 내고 그것을 평균 낸 값이다.

핵심

AI가 확률에 로그를 씌우는 까닭은 곱을 합으로 바꿔, 아주 작은 확률도 0으로 사라지지 않게 계산하기 위해서다.

-log p 손실은 왜 정답 확률이 작으면 그렇게 커?

−log⁡p-\log p는 정답 확률 pp가 0에 다가갈수록 끝없이 커지기 때문이다. 정답에 0.9를 주면 0.105, 0.5면 0.693이지만, 0.01이면 4.605로 0.9일 때의 약 44배다. pp로 미분한 기울기 −1/p-1/p도 0.01에서 −100으로, 0.9의 약 −1.11보다 훨씬 가파르다(식 (6)). 다만 신경망이 실제로 받는 기울기, 곧 정답 클래스의 로짓(점수)으로 미분한 값은 p−1p - 1이라 −1과 0 사이에 머문다(−0.99와 −0.1, 유도는 교차엔트로피 페이지에서, 예정).

로그 우도는 최대화하는데 손실은 왜 최소화해?

손실이 로그 우도에 −1/n-1/n을 곱한 것이라(식 (5)), 하나를 가장 크게 하는 자리가 다른 하나를 가장 작게 하는 자리이기 때문이다. 세 확률의 로그 우도는 −5.404, 손실은 1.801로 부호와 크기만 다르다. 옵티마이저가 '줄이는' 쪽으로 만들어져 있어서 부호를 바꿔 쓴다.

로그를 씌워도 최댓값의 자리는 그대로다

로그는 입력이 커지면 늘 커지는 함수(단조증가)다. 그래서 우도처럼 양수인 양을 가장 크게 하는 자리는 그 양에 로그를 씌워도 같다. 기울기로 보면 분명하다.

ddxlog⁡x=1x,ddxex=ex(6)\frac{d}{dx} \log x = \frac{1}{x}, \qquad \frac{d}{dx} e^x = e^x \tag{6}

x>0x > 0이면 1/x>01/x > 0이라 로그의 기울기는 양수다. 다만 기울기 1/x1/x는 0<x<10 < x < 1에서 1보다 크고 x>1x > 1에서 1보다 작다. 그래서 로그는 1보다 작은 값의 차이는 키우고, 큰 값의 차이는 줄인다.

동전을 독립적으로 10번 던져 앞면이 7번 나왔다고 하자. 앞면 확률을 θ\theta라 하면, 던진 순서까지 정해진 이 결과의 우도는 f(θ)=θ7(1−θ)3f(\theta) = \theta^7 (1-\theta)^3이고, 식 (2)·(3)으로 log⁡f(θ)=7log⁡θ+3log⁡(1−θ)\log f(\theta) = 7\log\theta + 3\log(1-\theta)다. 둘 다 θ=0.7\theta = 0.7에서 가장 크고, 최댓값은 0.00222와 −6.109로 다르지만 자리는 같다.33 순서를 따지지 않은 '앞면 7번'의 확률은 여기에 (107)=120\binom{10}{7} = 120을 곱한 값으로, θ=0.7\theta = 0.7에서 0.267이다. 상수배는 최댓값의 자리를 바꾸지 않는다.

곱보다 합을 미분하기가 쉬워서 최대우도추정(예정)은 로그 쪽을 미분한다. 식 (6)으로 7/θ−3/(1−θ)=07/\theta - 3/(1-\theta) = 0을 풀면 θ=0.7\theta = 0.7이다.44 log⁡(1−θ)\log(1-\theta)의 미분은 연쇄법칙으로 −1/(1−θ)-1/(1-\theta)다.

자연로그 ln과 밑이 2·10인 로그는 단위만 다르다

모든 밑의 로그는 자연로그를 상수로 나눈 것이다(밑의 변환 공식, 식 (7)). 그래서 밑이 1보다 크면 밑을 바꿔도 곡선 모양은 같고 세로 눈금만 늘거나 준다. 밑이 10인 상용로그라면 식 (3)과 아래 식 (7)로 log⁡100=log⁡102=2log⁡10\log 100 = \log 10^2 = 2\log 10이라 log⁡10100=2\log_{10} 100 = 2이고, 자연로그로는 log⁡100≈4.605\log 100 \approx 4.605, log⁡10≈2.303\log 10 \approx 2.303이다.

log⁡bx=log⁡xlog⁡b(7)\log_b x = \frac{\log x}{\log b} \tag{7}

ln이랑 log는 뭐가 달라?

ln⁡x\ln x는 언제나 밑이 ee인 자연로그이고, 밑 없는 log⁡x\log x는 쓰는 곳마다 밑이 다르다. 고등학교 교과서의 log⁡x\log x는 밑이 10인 상용로그이고, AI 문헌과 NumPy·PyTorch의 log는 자연로그다. 그래서 log⁡100\log 100은 교과서에서 2, np.log(100)에서 약 4.605다. 두 값은 식 (7)대로 log⁡10≈2.303\log 10 \approx 2.303배 차이다.

정보량을 셀 때는 밑이 단위가 된다. 자연로그로 재면 nat, log⁡2\log_2로 재면 비트(bit)다. p=0.5p = 0.5의 −log⁡p-\log p는 0.693 nat이고, 식 (7)로 log⁡2≈0.693\log 2 \approx 0.693으로 나누면 정확히 1 bit다. 1 nat은 1/log⁡2≈1.4431/\log 2 \approx 1.443 bit이고, 엔트로피·KL 페이지(예정)가 이 단위를 쓴다.

log⁡10\log_{10}은 크기가 열 배씩 다른 값을 한 축에 놓을 때 쓴다. 학습률 0.0001, 0.001, 0.01은 log⁡10\log_{10}으로 −4, −3, −2라 같은 간격이 된다. 학습률을 이 간격으로 찾고, 손실 곡선도 이런 로그 눈금으로 그린다(모멘텀 페이지의 손실 그림이 그 예다).

지수의 합에 로그를 씌울 때는 최댓값부터 뺀다

log⁡∑jezj\log \sum_j e^{z_j}(log-sum-exp)는 가장 큰 로짓 m=max⁡jzjm = \max_j z_j를 먼저 빼고 계산한다. 값은 같고, 로짓이 아주 크거나 아주 작아도 넘치거나 사라지지 않는다.

이 합은 소프트맥스에서 나온다. 분류 모델은 클래스마다 점수(로짓) zjz_j를 내고, 이를 확률 ezj/∑kezke^{z_j} / \sum_k e^{z_k}로 바꾼다. 여기에 로그를 씌우면 식 (3)으로 zj−log⁡∑kezkz_j - \log \sum_k e^{z_k}가 된다.

log⁡∑j=1Kezj=m+log⁡∑j=1Kezj−m(8)\log \sum_{j=1}^{K} e^{z_j} = m + \log \sum_{j=1}^{K} e^{z_j - m} \tag{8}
식 (8)은 왜 같은 값인가

ezj=emezj−me^{z_j} = e^{m} e^{z_j - m}이라 합에서 eme^m을 묶어 낼 수 있다. 그러면 식 (2)로 log⁡(em∑jezj−m)=m+log⁡∑jezj−m\log\big(e^m \sum_j e^{z_j - m}\big) = m + \log \sum_j e^{z_j - m}이다. zj−m≤0z_j - m \le 0이라 각 항은 1 이하이고, zj=mz_j = m인 항은 e0=1e^0 = 1이다. 그래서 K≥2K \ge 2이고 로짓이 유한하면 합은 1보다 크고 KK를 넘지 않는다.

exe^x는 기울기가 자기 자신이라(식 (6)) xx가 커질수록 더 빨리 커진다. float64가 나타내는 가장 큰 수가 약 1.8×103081.8 \times 10^{308}이고 그 로그가 709.78이라, xx가 이를 넘으면 exe^x는 inf다.55 PyTorch의 기본 float32에서는 약 88.72, 반정밀도 float16에서는 약 11.09다. 그래서 로짓 중 하나라도 이 값을 넘으면 그대로 계산할 때 넘친다.66 로짓이 모두 709.78 아래여도 합이 약 1.8×103081.8 \times 10^{308}을 넘으면 넘친다. 709.5 두 개면 inf다.

로짓이 z=(1000,999,998)\mathbf{z} = (1000, 999, 998)이면 e1000e^{1000}이 inf라 그대로는 inf가 나온다. 식 (8)로는 1000+log⁡(1+e−1+e−2)≈1000.4081000 + \log(1 + e^{-1} + e^{-2}) \approx 1000.408이다. 각 로짓에서 이 값을 빼면 로그 확률 −0.408, −1.408, −2.408이 되고, 확률로는 0.665, 0.245, 0.090이다. 반대로 로짓이 모두 약 −745보다 작은 (−800,−801)(-800, -801)이면 ezje^{z_j}가 모두 0이 되어 그대로는 −∞-\infty지만, 식 (8)로는 약 −799.687이다.

이 계산이 소프트맥스 페이지의 log-softmax다.

로그의 흔한 오해

  • log⁡(s+t)=log⁡s+log⁡t\log(s+t) = \log s + \log t이다 — 식 (2)는 곱에 대한 것이다. log⁡(0.9+0.5)=log⁡1.4≈0.336\log(0.9 + 0.5) = \log 1.4 \approx 0.336이지만 log⁡0.9+log⁡0.5≈−0.7985\log 0.9 + \log 0.5 \approx -0.7985다. 로그 확률 log⁡s\log s, log⁡t\log t만 들고 있을 때 합의 로그는 s=elog⁡ss = e^{\log s}로 보고 np.logaddexp(log_s, log_t), 곧 식 (8)로 계산한다.
  • log⁡0\log 0은 아주 큰 음수다 — 식 (1)의 x>0x > 0 밖이라 정의되지 않는다. NumPy의 np.log(0)은 경고와 함께 -inf, np.log(-1)은 nan을 내고, 파이썬 math.log(0)은 ValueError다. 확률이 0으로 반올림되면 손실이 inf가 되는 까닭이다.
  • 코드의 log는 밑이 10이다 — np.log·math.log·torch.log는 자연로그(ln⁡\ln)다. np.log(100)은 2가 아니라 4.605다. 밑 10은 np.log10, 밑 2는 np.log2로 따로 부른다.
  • 로그를 씌우면 최댓값의 자리도 바뀐다 — 값은 바뀌어도 자리는 그대로다. 동전 예의 우도 f(θ)f(\theta)와 로그 우도는 둘 다 θ=0.7\theta = 0.7에서 가장 크다.
  • nn.CrossEntropyLoss에는 소프트맥스를 씌운 확률을 넣는다 — 안에서 log-softmax를 한 번 더 하므로 소프트맥스가 두 번 걸린다. 로짓 (1000,999,998)(1000, 999, 998) 대신 확률 0.665, 0.245, 0.090을 넣으면 정답 0번의 손실이 0.408이 아니라 −log⁡(e0.665/(e0.665+e0.245+e0.090))≈0.797-\log\big(e^{0.665} / (e^{0.665} + e^{0.245} + e^{0.090})\big) \approx 0.797이 된다.

로그는 AI에서 어디에 쓰이나

딥러닝 분류 모델을 학습할 때 로그는 손실을 계산하는 단계에 있다. 모델이 로짓 z\mathbf{z}를 내면, log-softmax가 식 (8)로 로그 확률 zj−log⁡∑kezkz_j - \log\sum_k e^{z_k}를 만든다. 정답 클래스의 값에 부호를 바꿔 데이터마다 평균 내면 식 (5)의 손실이다. 그 뒤 역전파가 이 손실의 그래디언트를 구하고, 경사하강법이 한 걸음 내딛는다.

이 페이지NumPy / PyTorch
log⁡x\log x (자연로그)np.log(x), torch.log(x), math.log(x)
log⁡2x\log_2 x, log⁡10x\log_{10} xnp.log2(x), np.log10(x)
log⁡(1+x)\log(1 + x), xx가 아주 작을 때np.log1p(x), torch.log1p(x). 1 + 1e-16이 float64에서 1.0으로 반올림되어 np.log(1 + 1e-16)은 0.0이지만, np.log1p(1e-16)은 1e-16이다. log⁡(1−p)\log(1 - p)도 np.log1p(-p)로 쓴다
log⁡(ez1+ez2)\log(e^{z_1} + e^{z_2})np.logaddexp(z1, z2), torch.logaddexp(z1, z2)
식 (8) log-sum-exptorch.logsumexp(z, dim=-1)
로그 확률 zj−log⁡∑kezkz_j - \log\sum_k e^{z_k}F.log_softmax(z, dim=-1) (torch.nn.functional, torch.log_softmax와 같다)
식 (5)의 손실nn.CrossEntropyLoss()(logits, target). 로짓을 받아 안에서 log-softmax와 음의 로그 우도를 계산하고, 기본값 reduction='mean'으로 평균 낸다
exe^xnp.exp(x), torch.exp(x)

nn.CrossEntropyLoss는 왜 확률 말고 로짓을 받아?

확률로 먼저 바꾸면 아주 작은 확률이 0으로 반올림되어 로그가 -inf가 되기 때문이다. 정답 로짓이 가장 큰 로짓보다 float64에서 약 745, float32에서 약 104 넘게 작으면 그렇게 된다. 로짓 (0,−800)(0, -800)이면 둘째 클래스의 확률은 float64에서 0이지만, 식 (8)로 바로 구한 로그 확률은 −800이다. 그래서 PyTorch는 로짓을 받아 안에서 log-softmax로 계산한다.

코드로 확인하기

세 확률의 곱의 로그와 로그합이 같은 값인지, 600개가 되면 곱만 사라지는지 본다. 마지막 두 줄이 그림 2의 오른쪽 끝이다.

수식
log⁡∏i=1npi=∑i=1nlog⁡pi(4)\log \prod_{i=1}^{n} \sym{probs}{p_i} = \sum_{i=1}^{n} \sym{log_probs}{\log p_i} \tag{4}
코드 figures/log_prob.py
import numpy as np

probs = np.array([0.9, 0.5, 0.01])   # 정답 확률 p_i
log_probs = np.log(probs)            # 자연로그
print("-log p      :", np.round(-log_probs, 3))
print("곱          :", round(np.prod(probs), 6))
# 식 (4): 곱의 로그 = 로그의 합
print("곱의 로그   :", round(np.log(np.prod(probs)), 3))
print("로그의 합   :", round(np.sum(log_probs), 3))
# 식 (5): 손실 = 평균 -log p
print("평균 -log p :", round(-np.mean(log_probs), 3))

many = np.resize(probs, 600)         # 600개로 되풀이
print("600개의 곱  :", np.prod(many))
print("600개 로그합:", round(np.sum(np.log(many)), 1))
$ python log_prob.py
-log p      : [0.105 0.693 4.605]
곱          : 0.0045
곱의 로그   : -5.404
로그의 합   : -5.404
평균 -log p : 1.801
600개의 곱  : 0.0
600개 로그합: -1080.7

직접 해보기

  1. 정답 확률이 0.25이면 −log⁡p-\log p는 몇 nat이고 몇 bit인가?
답

−log⁡0.25=log⁡4≈1.386-\log 0.25 = \log 4 \approx 1.386 nat이다. 식 (7)로 log⁡2\log 2로 나누면 2 bit다. 0.25는 1/21/2을 두 번 곱한 것이라 bit로는 정확히 2다.

  1. 로짓 (3,1)(3, 1)의 log-sum-exp를 식 (8)로 구하라.
답

m=3m = 3이라 3+log⁡(1+e−2)≈3.1273 + \log(1 + e^{-2}) \approx 3.127이다. 그대로 계산한 log⁡(e3+e1)≈log⁡22.80\log(e^3 + e^1) \approx \log 22.80과 같다.

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.13절이 사건의 정보량을 −log⁡P(x)-\log P(x)로 정의하고, 자연로그로 재면 nat, 밑이 2면 bit라고 적는다. '자연로그 ln과 밑이 2·10인 로그는 단위만 다르다' §가 기댄다.
  • Deep Learning, 4장 Numerical Computation — Goodfellow·Bengio·Courville, 2016. 4.1절이 넘침(overflow)과 언더플로를 다루고, 소프트맥스를 계산하기 전에 가장 큰 값을 빼 안정화한다. '지수의 합에 로그를 씌울 때는 최댓값부터 뺀다' §가 기댄다.
  • Deep Learning, 5장 Machine Learning Basics — Goodfellow·Bengio·Courville, 2016. 5.5절 최대우도추정이 곱 꼴의 우도에 로그를 씌워 합으로 바꾸고, 그래도 최댓값의 자리는 그대로라고 적는다. '로그를 씌워도 최댓값의 자리는 그대로다' §가 기댄다.
  • numpy.log — NumPy 공식 문서. 자연로그이고, 실수로 나타낼 수 없는 입력에는 nan을 낸다. '로그의 흔한 오해' §의 둘째·셋째 항목이 기댄다.
  • torch.nn.CrossEntropyLoss — PyTorch 공식 문서. 입력은 정규화하지 않은 로짓이고, 기본 reduction은 'mean'이다. '로그는 AI에서 어디에 쓰이나' §의 대응표와 질문이 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — “AI는 왜 확률에 로그를 씌우지?”
  • 00:30 직관 — 100 × 1,000을 0의 개수로 계산하기
  • 01:20 식 (1) 판서 — 지수를 거꾸로 풀기, 그림 1 왼쪽의 거울
  • 02:30 식 (2)·(4) — 0.9×0.5×0.01=0.00450.9 \times 0.5 \times 0.01 = 0.0045, 로그합 −5.404-5.404
  • 03:40 그림 2 — n=414n = 414에서 사라지는 곱
  • 04:40 식 (5)와 그림 1 오른쪽 — −log⁡p-\log p = 0.105, 0.693, 4.605
  • 05:40 식 (8) — 로짓 1000에서 넘치지 않게 최댓값 빼기
  • 06:40 PyTorch 대응표 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

실수 지수미적분지수법칙미적분지수함수미적분로그 함수지금 이 페이지교차엔트로피예정엔트로피·KL예정최대우도추정예정소프트맥스AI
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 8, 그림 2, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15 문서(CrossEntropyLoss·log_softmax) 확인, Wikidata Q11197, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 소프트맥스 페이지 링크 연결
  4. 2026-11-05 · 영어판 번역
  5. 2026-11-05 · 더 읽기의 절 이름 바로잡음
  6. 2026-11-05 · 남은 질문(소프트맥스와 −log p를 함께 미분한 기울기)을 교차엔트로피 페이지(예정)로 넘김
  7. 2026-11-05 · 영어판에서도 같은 todo 제거
  8. 2026-11-05 · 받은 질문은 소프트맥스 페이지에만 남김 (홈 '질문에서 페이지로' 중복 정리)
  9. 2026-11-05 · 직접 검토 — 완성으로 올림
  10. 2026-11-05 · 선수에 지수 함수(예정) 연결
  11. 2026-11-13 · 독자 패널 리뷰 반영 — 교과서의 log(상용로그)와 ln 표기 다리, 진수·로그의 성질·밑의 변환 공식 낱말, 'ln이랑 log는 뭐가 달라' 질문, 미분·연쇄법칙·역전파·그래디언트 페이지 연결, § 제목과 머리말(summary·aliases) (에이전트 수정, 다시 검토 전)