직관 — 곱셈을 0의 개수 덧셈으로
100 × 1,000은 0의 개수만 세면 된다. 0이 두 개인 수와 세 개인 수를 곱하면 0이 다섯 개인 100,000이다. 곱셈이 0의 개수끼리의 덧셈으로 바뀐 것이다.
여기서 0의 개수가 로그이고, 10이 그 로그의 밑이다. 로그는 이 '0의 개수'를 모든 양수로 넓힌 것이다. 2는 0이 약 0.301개()이고, 1을 100으로 나눈 0.01은 0을 두 개 지운 셈이라 −2개다. AI에서는 밑으로 10 대신 을 쓰고, 이것을 자연로그라 한다.
로그는 지수함수를 거꾸로 푼 함수다
는 밑 를 몇 제곱해야 가 되는지를 묻는 값이다(를 진수라 한다). 그래서 로그는 지수함수 를 거꾸로 푼 함수(역함수)다.
아래 표에서 처음에는 위 다섯 줄만 보면 된다. 나머지 줄은 뒤 §에서 쓴다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 밑이 인 로그 | logarithm | 를 몇 제곱해야 가 되나. 에서만 정의된다. 이것을 의 함수로 본 것이 로그 함수(교과서 표기로는 로그함수)다 | |
| 밑 | base | 주로 , 2, 10을 쓴다 | |
| 자연로그 | natural logarithm | 밑이 인 로그. 로도 쓴다. 이 사이트와 NumPy·PyTorch의 log가 이것이고, 밑이 2·10이면 ·으로 적는다 | |
| 자연상수 | Euler's number | ||
| , | 지수함수 | exponential function | 를 제곱한 값. 의 역함수 |
| , | 확률 | probability | 모델이 정답에 준 확률, 번째 데이터의 그 확률. |
| 데이터 수 | number of examples | 확률을 곱하거나 더하는 개수 | |
| 손실 | loss | 정답 확률의 를 평균 낸 값. 작을수록 좋다 | |
| , , | 로짓, 클래스 수 | logit, number of classes | 소프트맥스에 들어가는 클래스별 점수 개 |
| , , | 양수, 실수 | positive number, real number | 식 (2)·(3)에 넣는 아무 양수 , 와 아무 실수 |
| 가장 큰 로짓 | maximum logit | . 식 (8)에서 먼저 뺀다 | |
| , | 파라미터, 우도(가능도) | parameter, likelihood | 동전 예에서 앞면이 나올 확률과, 던진 순서까지 정해진 관찰 결과가 그 에서 나올 확률 |
고등학교 교과서에서 밑 없는 는 상용로그(밑 10)이고, 자연로그는 로 쓴다. 이 페이지의 는 자연로그다.
로 두면 와 는 서로를 되돌린다. 이고 다. 그래서 그림 1 왼쪽의 두 곡선은 대각선 를 사이에 두고 거울처럼 마주 본다. 위의 점 , 가 위에서는 , 로 뒤바뀐다.
figures/log_curves.py세 가지가 그림에서 바로 보인다. 로그는 에서만 정의되고, 이며, 가 0에 다가가면 로 떨어진다. 그래서 0과 1 사이의 확률은 로그가 음수이고, 부호를 바꾼 는 0 이상이다.
로그는 곱을 합으로 바꾼다
로그는 곱을 합으로, 나눗셈을 뺄셈으로, 거듭제곱을 곱으로 바꾼다(교과서의 '로그의 성질'). 모두 지수법칙 (를 번, 번 곱해 이으면 번 곱한 것)를 거꾸로 읽은 것이다. 아래 식에서 , 는 양수, 은 실수다.
식 (2)는 왜 성립하나
, 로 두면 식 (1)에서 , 다. 그러면 이고, 다시 식 (1)로 다. 나눗셈은 , 거듭제곱은 로 같은 방식이다.
세 확률 0.9, 0.5, 0.01로 확인해 보자. 곱은 이고, 다. 각각의 로그 , , 를 반올림 전 값으로 더해도 , 곧 약 다. 항이 개면 식 (2)를 거듭 써서 곱 가 합 이 된다(시그마 페이지의 기호).
왜 확률을 곱하지 않고 로그를 더하나
확률을 많이 곱하면 컴퓨터가 0으로 반올림해 버리기 때문이다(언더플로). 0.9, 0.5, 0.01을 되풀이해 컴퓨터의 64비트 실수(float64)로 곱하면 414개째에 0이 되지만, 로그의 합은 −745.7로 남는다. 로그의 합은 절댓값이 (평균 )로 커질 뿐이라 사라지지 않는다.
모델이 데이터 개의 정답에 준 확률이 이라 하자. 데이터가 서로 독립이라고 보면, 모델이 전체를 맞힐 확률(우도, 가능도)은 곱 다. 그림 2는 세 확률 0.9, 0.5, 0.01이 차례로 되풀이되는 데이터 개에서 이 곱과 로그합을 잰 것이다.
figures/log_underflow.pyfloat64로 곱하면 부터 가장 작은 정규 양수 약 아래로 내려가 정밀도를 잃고, 에서 0이 된다.11 정규 양수는 float64가 정밀도(십진 약 16자리)를 다 지키는 수이고, 그 가장 작은 값이 약 이다. 그 아래로는 자릿수를 잃으며 약 (로그 −744.4)까지 버티다가 0이 된다. 0이 된 곱에는 로그를 씌울 수도 없다.
숫자는 식 (4)에서 나온다. 세 개마다 로그합이 5.4037씩 줄어, 395는 131묶음과 두 개()에서 처음 −708.4 아래로 내려가는 자리다. 414는 138묶음()으로 처음 −744.4 아래로 내려가 0이 되는 자리다. 로그합은 (200묶음)에서도 로 멀쩡하다.22 PyTorch의 기본 자료형 float32는 범위가 훨씬 좁아, 같은 곱이 부터 정규 범위 밖이고 에서 0이 된다.
학습에서 쓰는 손실은 이 로그합을 데이터 수로 나누고 부호를 바꾼 것이다. 정답이 하나인 분류에서는 이것이 교차엔트로피 손실이다.
세 확률이면 이다. 그림 1 오른쪽처럼 데이터마다 를 내고 그것을 평균 낸 값이다.
AI가 확률에 로그를 씌우는 까닭은 곱을 합으로 바꿔, 아주 작은 확률도 0으로 사라지지 않게 계산하기 위해서다.
-log p 손실은 왜 정답 확률이 작으면 그렇게 커?
는 정답 확률 가 0에 다가갈수록 끝없이 커지기 때문이다. 정답에 0.9를 주면 0.105, 0.5면 0.693이지만, 0.01이면 4.605로 0.9일 때의 약 44배다. 로 미분한 기울기 도 0.01에서 −100으로, 0.9의 약 −1.11보다 훨씬 가파르다(식 (6)). 다만 신경망이 실제로 받는 기울기, 곧 정답 클래스의 로짓(점수)으로 미분한 값은 이라 −1과 0 사이에 머문다(−0.99와 −0.1, 유도는 교차엔트로피 페이지에서, 예정).
로그 우도는 최대화하는데 손실은 왜 최소화해?
손실이 로그 우도에 을 곱한 것이라(식 (5)), 하나를 가장 크게 하는 자리가 다른 하나를 가장 작게 하는 자리이기 때문이다. 세 확률의 로그 우도는 −5.404, 손실은 1.801로 부호와 크기만 다르다. 옵티마이저가 '줄이는' 쪽으로 만들어져 있어서 부호를 바꿔 쓴다.
로그를 씌워도 최댓값의 자리는 그대로다
로그는 입력이 커지면 늘 커지는 함수(단조증가)다. 그래서 우도처럼 양수인 양을 가장 크게 하는 자리는 그 양에 로그를 씌워도 같다. 기울기로 보면 분명하다.
이면 이라 로그의 기울기는 양수다. 다만 기울기 는 에서 1보다 크고 에서 1보다 작다. 그래서 로그는 1보다 작은 값의 차이는 키우고, 큰 값의 차이는 줄인다.
동전을 독립적으로 10번 던져 앞면이 7번 나왔다고 하자. 앞면 확률을 라 하면, 던진 순서까지 정해진 이 결과의 우도는 이고, 식 (2)·(3)으로 다. 둘 다 에서 가장 크고, 최댓값은 0.00222와 −6.109로 다르지만 자리는 같다.33 순서를 따지지 않은 '앞면 7번'의 확률은 여기에 을 곱한 값으로, 에서 0.267이다. 상수배는 최댓값의 자리를 바꾸지 않는다.
곱보다 합을 미분하기가 쉬워서 최대우도추정(예정)은 로그 쪽을 미분한다. 식 (6)으로 을 풀면 이다.44 의 미분은 연쇄법칙으로 다.
자연로그 ln과 밑이 2·10인 로그는 단위만 다르다
모든 밑의 로그는 자연로그를 상수로 나눈 것이다(밑의 변환 공식, 식 (7)). 그래서 밑이 1보다 크면 밑을 바꿔도 곡선 모양은 같고 세로 눈금만 늘거나 준다. 밑이 10인 상용로그라면 식 (3)과 아래 식 (7)로 이라 이고, 자연로그로는 , 이다.
ln이랑 log는 뭐가 달라?
는 언제나 밑이 인 자연로그이고, 밑 없는 는 쓰는 곳마다 밑이 다르다. 고등학교 교과서의 는 밑이 10인 상용로그이고, AI 문헌과 NumPy·PyTorch의 log는 자연로그다. 그래서 은 교과서에서 2, np.log(100)에서 약 4.605다. 두 값은 식 (7)대로 배 차이다.
정보량을 셀 때는 밑이 단위가 된다. 자연로그로 재면 nat, 로 재면 비트(bit)다. 의 는 0.693 nat이고, 식 (7)로 으로 나누면 정확히 1 bit다. 1 nat은 bit이고, 엔트로피·KL 페이지(예정)가 이 단위를 쓴다.
은 크기가 열 배씩 다른 값을 한 축에 놓을 때 쓴다. 학습률 0.0001, 0.001, 0.01은 으로 −4, −3, −2라 같은 간격이 된다. 학습률을 이 간격으로 찾고, 손실 곡선도 이런 로그 눈금으로 그린다(모멘텀 페이지의 손실 그림이 그 예다).
지수의 합에 로그를 씌울 때는 최댓값부터 뺀다
(log-sum-exp)는 가장 큰 로짓 를 먼저 빼고 계산한다. 값은 같고, 로짓이 아주 크거나 아주 작아도 넘치거나 사라지지 않는다.
이 합은 소프트맥스에서 나온다. 분류 모델은 클래스마다 점수(로짓) 를 내고, 이를 확률 로 바꾼다. 여기에 로그를 씌우면 식 (3)으로 가 된다.
식 (8)은 왜 같은 값인가
이라 합에서 을 묶어 낼 수 있다. 그러면 식 (2)로 이다. 이라 각 항은 1 이하이고, 인 항은 이다. 그래서 이고 로짓이 유한하면 합은 1보다 크고 를 넘지 않는다.
는 기울기가 자기 자신이라(식 (6)) 가 커질수록 더 빨리 커진다. float64가 나타내는 가장 큰 수가 약 이고 그 로그가 709.78이라, 가 이를 넘으면 는 inf다.55 PyTorch의 기본 float32에서는 약 88.72, 반정밀도 float16에서는 약 11.09다. 그래서 로짓 중 하나라도 이 값을 넘으면 그대로 계산할 때 넘친다.66 로짓이 모두 709.78 아래여도 합이 약 을 넘으면 넘친다. 709.5 두 개면 inf다.
로짓이 이면 이 inf라 그대로는 inf가 나온다. 식 (8)로는 이다. 각 로짓에서 이 값을 빼면 로그 확률 −0.408, −1.408, −2.408이 되고, 확률로는 0.665, 0.245, 0.090이다. 반대로 로짓이 모두 약 −745보다 작은 이면 가 모두 0이 되어 그대로는 지만, 식 (8)로는 약 −799.687이다.
이 계산이 소프트맥스 페이지의 log-softmax다.
로그의 흔한 오해
- 이다 — 식 (2)는 곱에 대한 것이다. 이지만 다. 로그 확률 , 만 들고 있을 때 합의 로그는 로 보고
np.logaddexp(log_s, log_t), 곧 식 (8)로 계산한다. - 은 아주 큰 음수다 — 식 (1)의 밖이라 정의되지 않는다. NumPy의
np.log(0)은 경고와 함께-inf,np.log(-1)은nan을 내고, 파이썬math.log(0)은 ValueError다. 확률이 0으로 반올림되면 손실이 inf가 되는 까닭이다. - 코드의 log는 밑이 10이다 —
np.log·math.log·torch.log는 자연로그()다.np.log(100)은 2가 아니라 4.605다. 밑 10은np.log10, 밑 2는np.log2로 따로 부른다. - 로그를 씌우면 최댓값의 자리도 바뀐다 — 값은 바뀌어도 자리는 그대로다. 동전 예의 우도 와 로그 우도는 둘 다 에서 가장 크다.
- nn.CrossEntropyLoss에는 소프트맥스를 씌운 확률을 넣는다 — 안에서 log-softmax를 한 번 더 하므로 소프트맥스가 두 번 걸린다. 로짓 대신 확률 0.665, 0.245, 0.090을 넣으면 정답 0번의 손실이 0.408이 아니라 이 된다.
로그는 AI에서 어디에 쓰이나
딥러닝 분류 모델을 학습할 때 로그는 손실을 계산하는 단계에 있다. 모델이 로짓 를 내면, log-softmax가 식 (8)로 로그 확률 를 만든다. 정답 클래스의 값에 부호를 바꿔 데이터마다 평균 내면 식 (5)의 손실이다. 그 뒤 역전파가 이 손실의 그래디언트를 구하고, 경사하강법이 한 걸음 내딛는다.
| 이 페이지 | NumPy / PyTorch |
|---|---|
| (자연로그) | np.log(x), torch.log(x), math.log(x) |
| , | np.log2(x), np.log10(x) |
| , 가 아주 작을 때 | np.log1p(x), torch.log1p(x). 1 + 1e-16이 float64에서 1.0으로 반올림되어 np.log(1 + 1e-16)은 0.0이지만, np.log1p(1e-16)은 1e-16이다. 도 np.log1p(-p)로 쓴다 |
np.logaddexp(z1, z2), torch.logaddexp(z1, z2) | |
| 식 (8) log-sum-exp | torch.logsumexp(z, dim=-1) |
| 로그 확률 | F.log_softmax(z, dim=-1) (torch.nn.functional, torch.log_softmax와 같다) |
| 식 (5)의 손실 | nn.CrossEntropyLoss()(logits, target). 로짓을 받아 안에서 log-softmax와 음의 로그 우도를 계산하고, 기본값 reduction='mean'으로 평균 낸다 |
np.exp(x), torch.exp(x) |
nn.CrossEntropyLoss는 왜 확률 말고 로짓을 받아?
확률로 먼저 바꾸면 아주 작은 확률이 0으로 반올림되어 로그가 -inf가 되기 때문이다. 정답 로짓이 가장 큰 로짓보다 float64에서 약 745, float32에서 약 104 넘게 작으면 그렇게 된다. 로짓 이면 둘째 클래스의 확률은 float64에서 0이지만, 식 (8)로 바로 구한 로그 확률은 −800이다. 그래서 PyTorch는 로짓을 받아 안에서 log-softmax로 계산한다.
코드로 확인하기
세 확률의 곱의 로그와 로그합이 같은 값인지, 600개가 되면 곱만 사라지는지 본다. 마지막 두 줄이 그림 2의 오른쪽 끝이다.
import numpy as np
probs = np.array([0.9, 0.5, 0.01]) # 정답 확률 p_i
log_probs = np.log(probs) # 자연로그
print("-log p :", np.round(-log_probs, 3))
print("곱 :", round(np.prod(probs), 6))
# 식 (4): 곱의 로그 = 로그의 합
print("곱의 로그 :", round(np.log(np.prod(probs)), 3))
print("로그의 합 :", round(np.sum(log_probs), 3))
# 식 (5): 손실 = 평균 -log p
print("평균 -log p :", round(-np.mean(log_probs), 3))
many = np.resize(probs, 600) # 600개로 되풀이
print("600개의 곱 :", np.prod(many))
print("600개 로그합:", round(np.sum(np.log(many)), 1))$ python log_prob.py
-log p : [0.105 0.693 4.605]
곱 : 0.0045
곱의 로그 : -5.404
로그의 합 : -5.404
평균 -log p : 1.801
600개의 곱 : 0.0
600개 로그합: -1080.7직접 해보기
- 정답 확률이 0.25이면 는 몇 nat이고 몇 bit인가?
답
nat이다. 식 (7)로 로 나누면 2 bit다. 0.25는 을 두 번 곱한 것이라 bit로는 정확히 2다.
- 로짓 의 log-sum-exp를 식 (8)로 구하라.
답
이라 이다. 그대로 계산한 과 같다.
더 읽기
- Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.13절이 사건의 정보량을 로 정의하고, 자연로그로 재면 nat, 밑이 2면 bit라고 적는다. '자연로그 ln과 밑이 2·10인 로그는 단위만 다르다' §가 기댄다.
- Deep Learning, 4장 Numerical Computation — Goodfellow·Bengio·Courville, 2016. 4.1절이 넘침(overflow)과 언더플로를 다루고, 소프트맥스를 계산하기 전에 가장 큰 값을 빼 안정화한다. '지수의 합에 로그를 씌울 때는 최댓값부터 뺀다' §가 기댄다.
- Deep Learning, 5장 Machine Learning Basics — Goodfellow·Bengio·Courville, 2016. 5.5절 최대우도추정이 곱 꼴의 우도에 로그를 씌워 합으로 바꾸고, 그래도 최댓값의 자리는 그대로라고 적는다. '로그를 씌워도 최댓값의 자리는 그대로다' §가 기댄다.
- numpy.log — NumPy 공식 문서. 자연로그이고, 실수로 나타낼 수 없는 입력에는 nan을 낸다. '로그의 흔한 오해' §의 둘째·셋째 항목이 기댄다.
- torch.nn.CrossEntropyLoss — PyTorch 공식 문서. 입력은 정규화하지 않은 로짓이고, 기본
reduction은'mean'이다. '로그는 AI에서 어디에 쓰이나' §의 대응표와 질문이 기댄다.
영상 노트
- 00:00 오프닝 질문 — “AI는 왜 확률에 로그를 씌우지?”
- 00:30 직관 — 100 × 1,000을 0의 개수로 계산하기
- 01:20 식 (1) 판서 — 지수를 거꾸로 풀기, 그림 1 왼쪽의 거울
- 02:30 식 (2)·(4) — , 로그합
- 03:40 그림 2 — 에서 사라지는 곱
- 04:40 식 (5)와 그림 1 오른쪽 — = 0.105, 0.693, 4.605
- 05:40 식 (8) — 로짓 1000에서 넘치지 않게 최댓값 빼기
- 06:40 PyTorch 대응표 · 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 8, 그림 2, 코드랩 1)
- 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15 문서(CrossEntropyLoss·log_softmax) 확인, Wikidata Q11197, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 소프트맥스 페이지 링크 연결
- 2026-11-05 · 영어판 번역
- 2026-11-05 · 더 읽기의 절 이름 바로잡음
- 2026-11-05 · 남은 질문(소프트맥스와 −log p를 함께 미분한 기울기)을 교차엔트로피 페이지(예정)로 넘김
- 2026-11-05 · 영어판에서도 같은 todo 제거
- 2026-11-05 · 받은 질문은 소프트맥스 페이지에만 남김 (홈 '질문에서 페이지로' 중복 정리)
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-05 · 선수에 지수 함수(예정) 연결
- 2026-11-13 · 독자 패널 리뷰 반영 — 교과서의 log(상용로그)와 ln 표기 다리, 진수·로그의 성질·밑의 변환 공식 낱말, 'ln이랑 log는 뭐가 달라' 질문, 미분·연쇄법칙·역전파·그래디언트 페이지 연결, § 제목과 머리말(summary·aliases) (에이전트 수정, 다시 검토 전)