AI소프트맥스#008

소프트맥스

Softmax

소프트맥스 함수(softmax)는 점수(로짓)마다 지수를 취해 합으로 나눠, 합이 1인 확률로 바꾼다. 점수 (2.0, 1.0, 0.1)은 확률 (0.659, 0.242, 0.099)가 된다. 왜 지수를 쓰는지, 온도, 시그모이드와의 차이, nan 대처, 미분까지 숫자로 확인한다.

주인공 기호
z
읽는 시간
약 12분
선수 개념
벡터와 내적시그마 (수열의 합)로그 함수조건부 확률지수함수최댓값과 argmax분포에서 샘플링

직관 — 실력 점수는 차이만 본다

직관

게임의 실력 점수(체스의 엘로 점수 같은 것)는 두 선수의 점수 차이만 보고 누가 이길 확률이 얼마인지 매긴다. 두 사람에게 똑같이 100점씩 얹어 줘도 그 확률은 그대로다. 차이가 벌어질수록 한쪽으로 쏠리지만, 0이나 1에 닿지는 않는다.

여기서 선수의 점수가 로짓, 이길 확률이 소프트맥스가 내는 확률이다. 모두에게 얹은 100점은 뒤에 나오는 '로짓에 더하는 상수'다. 소프트맥스는 이 계산을 선수 둘에서 후보 KK개로 넓힌 것이다.

사진이 개·고양이·새 가운데 무엇인지 고르는 분류 모델이 세 후보에 점수 2.0, 1.0, 0.1을 냈다고 하자. 소프트맥스는 이 점수를 약 66%, 24%, 10%라는 확률로 바꾼다. 언어 모델이 다음 낱말을 고를 때도 어휘마다 같은 계산을 한다.

소프트맥스 함수는 점수(로짓)를 합이 1인 확률로 바꾼다

소프트맥스 함수(softmax function)는 모델이 낸 점수(로짓) KK개를, 모두 0보다 크고 합이 1인 확률로 바꾸는 함수다. 로짓마다 지수 ezie^{z_i}를 취한 뒤 그 합으로 나눈다.

로짓은 분류 모델이 클래스마다 내는 점수로, 음수여도 합이 1이 아니어도 된다. 로짓 KK개를 늘어놓은 것이 벡터 z\mathbf{z}이고, 그 안의 숫자 하나 ziz_i가 성분이다. 결과 p\mathbf{p}는 경우마다 0 이상의 확률을 매기고 합이 1인 확률분포다.

pi=softmax⁡(z)i=ezi∑j=1Kezj,i=1,…,K(1)p_i = \operatorname{softmax}(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}, \qquad i = 1, \dots, K \tag{1}
정의
기호이름원어뜻
z\mathbf{z}, ziz_i로짓logit점수 KK개를 늘어놓은 벡터 (z1,…,zK)∈RK(z_1, \dots, z_K) \in \mathbb{R}^K. 이 페이지의 주인공
p\mathbf{p}, pip_i확률probability소프트맥스의 출력. 모두 0보다 크고 합이 1
KK, ii, jj클래스 수, 클래스 번호number of classes, index고를 수 있는 답의 개수와, 1부터 KK까지의 번호. 이 페이지의 예시는 K=3K = 3
∑j=1K\sum_{j=1}^{K}합sumj=1j = 1부터 KK까지 차례로 더한다(시그마 페이지)
ex=exp⁡(x)e^{x} = \exp(x)지수함수exponential functione≈2.718e \approx 2.718의 xx제곱. 언제나 0보다 크고, xx가 1 커지면 ee배
log⁡\log자연로그natural logarithm밑이 ee인 로그. 지수함수를 되돌려 log⁡ex=x\log e^{x} = x다. 교과서의 ln⁡\ln이고, 상용로그가 아니다(로그 함수 페이지)
τ\tau온도temperature로짓을 나누는 양수(식 (4)). 기본은 τ=1\tau = 1. 문헌에 따라 TT로 쓴다

세 클래스(개·고양이·새)의 로짓이 z=(2.0, 1.0, 0.1)\mathbf{z} = (2.0,\ 1.0,\ 0.1)이라 하자. 지수는 e2≈7.389e^{2} \approx 7.389, e1≈2.718e^{1} \approx 2.718, e0.1≈1.105e^{0.1} \approx 1.105이고, 합은 약 11.21이다. 각각을 합으로 나누면 p≈(0.659, 0.242, 0.099)\mathbf{p} \approx (0.659,\ 0.242,\ 0.099)이고, 세 값의 합은 1.000이다.

그림 1은 이 세 단계를 위에서 아래로 쌓은 것이다. 지수를 취해도 크기 순서는 그대로이고, 로짓 차이 1은 지수의 비율 e≈2.718e \approx 2.718이 된다.

로짓 z = (2.0, 1.0, 0.1)이 식 (1)을 지나는 세 단계. 위는 로짓, 가운데는 지수 e^z_i인 (7.389, 2.718, 1.105)와 그 합 11.21, 아래는 합으로 나눈 확률 (0.659, 0.242, 0.099)다.
그림 1 로짓 z=(2.0, 1.0, 0.1)\mathbf{z} = (2.0,\ 1.0,\ 0.1)이 식 (1)을 지나는 세 단계. 위는 로짓, 가운데는 지수 ezie^{z_i}인 (7.389, 2.718, 1.105)(7.389,\ 2.718,\ 1.105)와 그 합 11.21, 아래는 합으로 나눈 확률 (0.659, 0.242, 0.099)(0.659,\ 0.242,\ 0.099)다. figures/softmax_pipeline.py

온도별로 견준 그림 2의 가운데 막대도 이 값이다.

같은 로짓 z = (2.0, 1.0, 0.1)을 온도 τ = 0.5, 1, 2로 소프트맥스한 확률 p_i. 가운데(τ = 1)가 식 (1) 그대로인 (0.659, 0.242, 0.099)다. τ = 0.5는 클래스 1로 쏠리고 τ = 2는 고르게 펴지지만, 세 그림 모두 p_1 > p_2 > p_3이다. 위에 적은 p_1/p_2는 e^1/τ, 곧 7.389, 2.718, 1.649다. 점선은 균등 확률 1/3이다.
그림 2 같은 로짓 z=(2.0, 1.0, 0.1)\mathbf{z} = (2.0,\ 1.0,\ 0.1)을 온도 τ=0.5, 1, 2\tau = 0.5,\ 1,\ 2로 소프트맥스한 확률 pip_i. 가운데(τ=1\tau = 1)가 식 (1) 그대로인 (0.659, 0.242, 0.099)(0.659,\ 0.242,\ 0.099)다. τ=0.5\tau = 0.5는 클래스 1로 쏠리고 τ=2\tau = 2는 고르게 펴지지만, 세 그림 모두 p1>p2>p3p_1 > p_2 > p_3이다. 위에 적은 p1/p2p_1/p_2는 e1/τe^{1/\tau}, 곧 7.389, 2.718, 1.649다. 점선은 균등 확률 1/3이다. figures/temperature_bars.py

확률의 비율은 로짓의 차이만으로 정해진다

두 확률의 비는 두 로짓 차이의 지수다. 예시에서 z1−z2=1z_1 - z_2 = 1이라 p1/p2=e≈2.718p_1/p_2 = e \approx 2.718이다.

pipj=eziezj=e zi−zj(2)\frac{p_i}{p_j} = \frac{e^{z_i}}{e^{z_j}} = e^{\,z_i - z_j} \tag{2}

식 (1)의 분모가 위아래에서 지워지기 때문이다. 거꾸로 읽으면 로짓의 차이는 확률비의 로그 log⁡(pi/pj)\log(p_i/p_j)다. z2−z3=0.9z_2 - z_3 = 0.9이니 p2/p3=e0.9≈2.46p_2/p_3 = e^{0.9} \approx 2.46이다.

식 (1)과 식 (2)에서 세 성질이 나온다. 지수는 0보다 크니 모든 pi>0p_i > 0이다. zi>zjz_i > z_j면 pi/pj>1p_i/p_j > 1이라 순서가 그대로다. 모든 로짓에 같은 수 cc를 더해도 차이가 그대로라 비율이 같고, 합이 1이니 확률도 같다.

softmax⁡(z+c)=softmax⁡(z)(3)\operatorname{softmax}(\mathbf{z} + c) = \operatorname{softmax}(\mathbf{z}) \tag{3}

여기서 z+c\mathbf{z} + c는 성분마다 cc를 더한 벡터다. 거꾸로, 로짓 하나만 1 올린다고 그 확률이 ee배가 되지는 않는다. z1z_1을 2에서 3으로 올리면 p1p_1은 0.659에서 0.840으로, 약 1.275배다. 분모도 함께 커지기 때문이다.

핵심

소프트맥스가 보는 것은 로짓의 차이뿐이다. 두 확률의 비 pi/pjp_i/p_j는 로짓 차이의 지수 ezi−zje^{z_i - z_j}다.

소프트맥스는 왜 지수(exp)를 쓰나?

지수는 아무 실수나 0보다 큰 수로 바꾸고, 차이를 비율로 바꾸기 때문이다(ea/eb=ea−be^{a}/e^{b} = e^{a-b}). 그래서 식 (2)와 식 (3)이 성립한다. 지수 없이 합으로만 나누면, (2.0, 1.0, 0.1)(2.0,\ 1.0,\ 0.1)은 (0.645, 0.323, 0.032)(0.645,\ 0.323,\ 0.032)지만 모두 1을 뺀 (1.0, 0.0, −0.9)(1.0,\ 0.0,\ -0.9)는 합이 0.1이라 (10, 0, −9)(10,\ 0,\ -9)가 된다.

소프트맥스 온도를 낮추면 왜 가장 큰 로짓이 확률을 독차지하나

로짓을 온도 τ\tau로 나누면 로짓의 차이가 1/τ1/\tau배가 되고, 식 (2)의 비율이 e(zi−zj)/τe^{(z_i - z_j)/\tau}가 되기 때문이다. τ\tau를 0 쪽으로 줄이면 가장 큰 로짓(하나뿐일 때)의 확률이 1로 가고, τ\tau를 키우면 모든 확률이 1/K1/K로 간다. 직관의 실력 점수로 말하면, 점수 차이를 몇 점 단위로 재느냐가 온도다.

pi=ezi/τ∑j=1Kezj/τ,τ>0(4)p_i = \frac{e^{z_i/\tau}}{\sum_{j=1}^{K} e^{z_j/\tau}}, \qquad \tau > 0 \tag{4}

그림 2의 왼쪽(τ=0.5\tau = 0.5)은 z/τ=(4, 2, 0.2)\mathbf{z}/\tau = (4,\ 2,\ 0.2)를 식 (1)에 넣은 (0.864, 0.117, 0.019)(0.864,\ 0.117,\ 0.019)로 쏠린다. 오른쪽(τ=2\tau = 2)은 (1, 0.5, 0.05)(1,\ 0.5,\ 0.05)를 넣은 (0.502, 0.304, 0.194)(0.502,\ 0.304,\ 0.194)로 펴진다.

그림 3은 τ\tau를 0.1에서 10까지 올리는 동안의 막대다. 낮은 쪽 끝은 가장 큰 로짓 자리만 1인 원-핫(one-hot) 벡터 (1, 0, 0)(1,\ 0,\ 0)에, 높은 쪽 끝은 고른 1/3에 가깝다.

그림 3 온도 τ\tau를 0.1에서 10까지 로그 간격으로 올리며 그린 같은 로짓의 소프트맥스 막대(5초). τ=0.1\tau = 0.1에서 p1≈0.99995p_1 \approx 0.99995로 원-핫에 가깝고, τ=10\tau = 10에서 (0.366, 0.331, 0.303)(0.366,\ 0.331,\ 0.303)으로 점선 1/3에 다가간다. 모든 프레임에서 p1>p2>p3p_1 > p_2 > p_3이다. figures/temperature_sweep.py

AI에서 온도는 두 곳에 나온다. 언어 모델 생성 설정의 temperature가 식 (4)의 τ\tau다(분포에서 샘플링 페이지). 트랜스포머의 어텐션이 내적을 dk\sqrt{d_k}(dkd_k는 키 벡터의 차원)로 나누는 것도 식 (4)로 보면 온도 자리다(Vaswani 외 2017).

소프트맥스 온도를 올리면 순위가 바뀌나?

아니다. 소프트맥스 온도를 올리거나 내려도 확률의 순위는 그대로다. 양수 τ\tau로 나누면 로짓의 차이가 모두 같은 비율로 바뀔 뿐이라, τ\tau가 0.1에서 10 사이 어디서도 p1>p2>p3p_1 > p_2 > p_3이다(그림 3). 가장 낮은 클래스의 확률은 커지지만(τ=2\tau = 2에서 p3p_3이 0.099에서 0.194로) 앞지르지는 않는다.

소프트맥스 온도를 0으로 하면 어떻게 돼?

소프트맥스 온도 τ\tau를 정확히 0으로 두면 로짓을 0으로 나누게 되어 값이 정의되지 않는다. 대신 τ\tau를 0에 가깝게 줄이면 가장 큰 로짓 하나가 1을 가져가는 원-핫에 다가가, 예시에서 τ=0.05\tau = 0.05면 p1≈0.999999998p_1 \approx 0.999999998이다. Hugging Face Transformers는 temperature=0.0에 오류를 내고, 가장 큰 로짓만 고르는 그리디 디코딩(do_sample=False)을 쓰라고 안내한다.

클래스가 둘이면 소프트맥스는 시그모이드다

K=2K = 2면 소프트맥스의 p1p_1은 로짓 차이 z1−z2z_1 - z_2의 시그모이드다. 식 (1)의 분자와 분모를 ez1e^{z_1}로 나누면 바로 나온다.

p1=ez1ez1+ez2=11+e−(z1−z2)=σ(z1−z2)(5)p_1 = \frac{e^{z_1}}{e^{z_1} + e^{z_2}} = \frac{1}{1 + e^{-(z_1 - z_2)}} = \sigma(z_1 - z_2) \tag{5}
정의
기호이름원어뜻
σ\sigma시그모이드sigmoidσ(x)=1/(1+e−x)\sigma(x) = 1/(1 + e^{-x}). 0과 1 사이의 S자 곡선. 로지스틱 함수라고도 한다

그림 4는 이 곡선을 온도별로 그린 것이다(온도가 있으면 σ((z1−z2)/τ)\sigma((z_1 - z_2)/\tau)). τ\tau가 작을수록 가파르다.

예시의 차이 1.0에서 τ=1\tau = 1이면 p1=0.731p_1 = 0.731이다. 클래스가 셋일 때의 0.659와 다르지만, p1/p2p_1/p_2는 두 경우 모두 정확히 ee다(식 (2)).

클래스가 둘일 때 p_1을 로짓 차이 z_1 - z_2의 함수로 그린 곡선, 온도 τ = 0.5, 1, 2. 세 곡선 모두 차이 0에서 0.5를 지나고, τ가 작을수록 가파르다. 예시의 차이 1.0에서 p_1은 차례로 0.881, 0.731, 0.622다.
그림 4 클래스가 둘일 때 p1p_1을 로짓 차이 z1−z2z_1 - z_2의 함수로 그린 곡선, 온도 τ=0.5, 1, 2\tau = 0.5,\ 1,\ 2. 세 곡선 모두 차이 0에서 0.5를 지나고, τ\tau가 작을수록 가파르다. 예시의 차이 1.0에서 p1p_1은 차례로 0.881, 0.731, 0.622다. figures/sigmoid_family.py

소프트맥스와 시그모이드 차이가 뭐야?

클래스가 둘이면 같은 함수다. 소프트맥스의 p1p_1이 로짓 차이의 시그모이드 σ(z1−z2)\sigma(z_1 - z_2)이고(식 (5)), 차이 1.0이면 0.731이다. 그래서 이진 분류는 로짓 하나만 내고 시그모이드를 쓴다. 한 입력에 정답이 여럿일 수 있으면(다중 레이블) 클래스마다 시그모이드를 따로 써서, 확률의 합이 1이 아니어도 된다.

소프트맥스는 max가 아니라 argmax를 부드럽게 한 것이다

소프트맥스가 부드럽게 한 것은 가장 큰 값(max)이 아니라 그 값의 자리, 곧 argmax다. 예시의 argmax는 1번(코드에서는 0부터 세어 0)이고, 그 자리에만 1을 둔 원-핫으로 적으면 (1, 0, 0)(1,\ 0,\ 0)이다. 소프트맥스 (0.659, 0.242, 0.099)(0.659,\ 0.242,\ 0.099)는 이 원-핫을 매끄럽게 편 것이다. 'soft'는 미분할 수 있게 부드럽다는 뜻이고, 이 이름은 Bridle(1990)에서 나왔다고 알려져 있다.11 Goodfellow 외(6.2.2.3절)는 이 함수를 softargmax라 부르는 편이 낫다고 적는다.

max 자체를 매끄럽게 근사하는 함수는 log-sum-exp(LSE)다. 로그 소프트맥스(log-softmax)가 바로 로짓에서 LSE를 뺀 값이다.

log⁡pi=zi−LSE⁡(z),LSE⁡(z)=log⁡∑j=1Kezj(6)\log p_i = z_i - \operatorname{LSE}(\mathbf{z}), \qquad \operatorname{LSE}(\mathbf{z}) = \log \sum_{j=1}^{K} e^{z_j} \tag{6} max⁡jzj  ≤  LSE⁡(z)  ≤  max⁡jzj+log⁡K(7)\max_j z_j \;\le\; \operatorname{LSE}(\mathbf{z}) \;\le\; \max_j z_j + \log K \tag{7}

예시에서 LSE⁡(z)=log⁡11.21≈2.417\operatorname{LSE}(\mathbf{z}) = \log 11.21 \approx 2.417이다. 식 (7)대로 max 2.0보다 크고, 2.0+log⁡3≈3.0992.0 + \log 3 \approx 3.099보다 작다. 로그 소프트맥스는 로짓마다 2.417을 뺀 (−0.417, −1.417, −2.317)(-0.417,\ -1.417,\ -2.317)이다. LSE를 넘치지 않게 계산하는 법은 로그 함수 페이지에서 다룬다.

LSE를 ziz_i로 편미분하면 소프트맥스가 나온다. 편미분 ∂\partial는 다른 로짓은 그대로 두고 ziz_i만 움직일 때의 미분이다(그래디언트 페이지).

∂LSE⁡(z)∂zi=pi(8)\frac{\partial \operatorname{LSE}(\mathbf{z})}{\partial z_i} = p_i \tag{8}

그림 5는 클래스가 둘이고 z2=0z_2 = 0일 때 max와 LSE를 견준다. LSE는 꺾인 max 위를 매끄럽게 지나고, 둘의 간격은 두 로짓이 같은 z1=0z_1 = 0에서 가장 커도 log⁡2≈0.693\log 2 \approx 0.693이다(식 (7)). z1=1z_1 = 1에서 LSE의 기울기는 0.731로, 그림 4에서 차이 1.0일 때의 p1p_1과 같다(식 (8)).

클래스가 둘이고 z_2 = 0일 때 z_1에 따른 max(z_1, 0), LSE(z_1, 0), 위쪽 경계 max + log 2. LSE는 색칠한 띠 안에 있고 z_1 = 0에서 max보다 log 2 ≈ 0.693 크다. z_1 = 1에서 LSE는 1.313이고 접선의 기울기는 소프트맥스의 p_1 = 0.731이다.
그림 5 클래스가 둘이고 z2=0z_2 = 0일 때 z1z_1에 따른 max⁡(z1,0)\max(z_1, 0), LSE⁡(z1,0)\operatorname{LSE}(z_1, 0), 위쪽 경계 max⁡+log⁡2\max + \log 2. LSE는 색칠한 띠 안에 있고 z1=0z_1 = 0에서 max보다 log⁡2≈0.693\log 2 \approx 0.693 크다. z1=1z_1 = 1에서 LSE는 1.313이고 접선의 기울기는 소프트맥스의 p1=0.731p_1 = 0.731이다. figures/lse_max.py

max를 미분하면(가장 큰 로짓이 하나일 때) 그 자리만 1인 원-핫, 곧 원-핫으로 적은 argmax가 나온다. 같은 식으로, max를 매끄럽게 한 LSE를 미분하면 argmax를 매끄럽게 한 소프트맥스가 나온다. 로짓 하나를 움직일 때 확률 전체가 어떻게 움직이는지, 곧 소프트맥스의 미분은 아래 접힌 식 (9)에 있다.

소프트맥스의 미분(야코비안) — 로짓 하나를 움직이면 확률들이 어떻게 움직이나

δij\delta_{ij}는 i=ji = j면 1, 아니면 0이다(크로네커 델타).

식 (6)을 zjz_j로 미분하고 식 (8)을 쓰면 ∂log⁡pi/∂zj=δij−pj\partial \log p_i / \partial z_j = \delta_{ij} - p_j다. 로그의 미분은 ∂log⁡pi=∂pi/pi\partial \log p_i = \partial p_i / p_i이니, 양변에 pip_i를 곱하면 야코비안(편미분을 모은 표)이 나온다.

∂pi∂zj=pi (δij−pj)(9)\frac{\partial p_i}{\partial z_j} = p_i\,(\delta_{ij} - p_j) \tag{9}

예시에서 ∂p1/∂z1=p1(1−p1)≈0.225\partial p_1/\partial z_1 = p_1(1 - p_1) \approx 0.225, ∂p2/∂z1=−p2p1≈−0.160\partial p_2/\partial z_1 = -p_2 p_1 \approx -0.160, ∂p3/∂z1=−p3p1≈−0.065\partial p_3/\partial z_1 = -p_3 p_1 \approx -0.065다. 그래서 z1z_1을 0.01 올리면 p1p_1은 약 0.0022 오르고, p2p_2와 p3p_3이 합쳐서 그만큼 내려간다. 같은 jj에 대한 열의 합이 0인 것은 합이 1이라는 조건을, 같은 ii의 행의 합이 0인 것은 식 (3)을 미분한 것이다.

소프트맥스의 흔한 오해

  • 소프트맥스가 0.9를 내면 90% 확률로 맞는다 — 식 (4)로 로짓을 2배로 키우면(τ=0.5\tau = 0.5) 예측은 그대로 클래스 1인데, p1p_1이 0.659에서 0.864로 오른다. 확률의 크기는 로짓의 눈금에 달려 있어서, 실제 정답률과 맞추려면 온도 스케일링(temperature scaling) 같은 보정을 따로 한다.
  • CrossEntropyLoss에 넣기 전에 소프트맥스를 해 둬야 한다 — nn.CrossEntropyLoss는 안에서 log-softmax를 하므로, 확률을 넣으면 소프트맥스가 두 번 걸린다. 정답 확률이 e0.659/(e0.659+e0.242+e0.099)≈0.4484e^{0.659}/(e^{0.659} + e^{0.242} + e^{0.099}) \approx 0.4484로 줄어, 예시의 손실이 0.417에서 0.802로 바뀐다. 세 클래스면 아무리 학습해도 0.551 아래로 내려가지 못한다(직접 해보기 1). 왜 로짓을 받는지는 로그 함수 페이지의 질문이 답한다.

소프트맥스는 AI에서 어디에 쓰이나

분류 신경망의 마지막 층(출력층)은 클래스마다 로짓 하나를 낸다. 행렬 연산 페이지의 선형층이 그 층이고, 그 페이지의 출력 y\mathbf{y}가 여기의 z\mathbf{z}다. 소프트맥스가 로짓을 확률로 바꾸고, 학습은 교차엔트로피 손실 L=−∑iyilog⁡piL = -\sum_i y_i \log p_i를 줄인다(교차엔트로피 페이지 — 예정).

이 페이지의 y\mathbf{y}는 정답 자리만 1인 원-핫 벡터라 ∑iyi=1\sum_i y_i = 1이고, 식 (6)을 넣으면 L=LSE⁡(z)−∑iyiziL = \operatorname{LSE}(\mathbf{z}) - \sum_i y_i z_i다. 소프트맥스와 교차엔트로피를 함께 미분하면, 식 (8) 덕분에 한 줄이 된다.

∂L∂z=p−y(10)\frac{\partial L}{\partial \mathbf{z}} = \mathbf{p} - \mathbf{y} \tag{10}

정답이 클래스 1(개)이면 y=(1, 0, 0)\mathbf{y} = (1,\ 0,\ 0)이다. 손실은 −log⁡0.659≈0.417-\log 0.659 \approx 0.417이고, 그래디언트는 (−0.341, 0.242, 0.099)(-0.341,\ 0.242,\ 0.099)다. 역전파가 이 값을 가중치까지 전하고, 경사하강법이 그 반대 방향으로 가중치를 움직인다. 로짓에서 보면 정답 로짓은 올리고 나머지는 내리는 쪽이다.

다중 분류 출력층에는 왜 소프트맥스 함수를 써?

소프트맥스 함수가 클래스별 점수를, 합이 1인 양수 확률로 바꿔 주기 때문이다. 셋 이상에서 하나를 고르는 다중 클래스 분류에서 출력층의 활성화 함수로 쓰면, 출력을 그대로 클래스별 확률로 읽을 수 있다. 예시의 점수 (2.0, 1.0, 0.1)(2.0,\ 1.0,\ 0.1)은 개 0.659, 고양이 0.242, 새 0.099가 된다.

트랜스포머의 어텐션도 질의와 키의 내적 표 QK⊤\mathbf{Q}\mathbf{K}^\top의 행마다 소프트맥스를 해, 값(value) 벡터를 섞을 가중치를 만든다(행렬 연산 페이지. 굵은 K\mathbf{K}는 키 행렬이고, 클래스 수 KK와 다르다). 언어 모델은 다음 토큰을 고를 때마다 어휘 수만큼의 로짓을 내고, 소프트맥스가 그것을 토큰별 확률로 바꾼다.

이 페이지코드
식 (1)torch.softmax(z, dim=-1)(= torch.nn.functional.softmax), scipy.special.softmax(z, axis=-1)(axis를 빼면 배열 전체). dim·axis는 어느 축을 따라 합을 1로 만들지 정한다
식 (6)torch.nn.functional.log_softmax(z, dim=-1) — log(softmax(z))를 따로 하지 않고, 최댓값을 뺀 LSE로 식 (6)을 계산한다
LSE⁡\operatorname{LSE}torch.logsumexp(z, dim=-1), scipy.special.logsumexp(z, axis=-1)(axis를 빼면 배열 전체)
z\mathbf{z}nn.CrossEntropyLoss()(z, target)(함수 꼴은 F.cross_entropy(z, target))의 첫 인자. 소프트맥스 전의 로짓이고, target은 정답 클래스 번호(0부터)
식 (10)위 손실에 loss.backward()를 하면 z.grad에 들어오는 값. 모델이 낸 z는 중간 텐서라 z.retain_grad()를 먼저 불러야 남는다. 기본 reduction="mean"이면 배치 크기로 나눈 값
τ\tautorch.softmax(z / tau, dim=-1) — 언어 모델 생성의 temperature
dk\sqrt{d_k}어텐션의 torch.softmax(Q @ K.transpose(-2, -1) / d_k ** 0.5, dim=-1)

소프트맥스가 nan을 낼 때 왜 최댓값을 빼나

로짓이 크면 지수가 inf(무한대)로 넘쳐(오버플로) inf ÷ inf = nan(숫자 아님)이 된다. 식 (3) 덕분에 가장 큰 로짓 mm을 모두에게서 빼도 결과는 같고, 그러면 지수가 넘치지 않는다(얼마부터 넘치는지는 로그 함수 페이지).

pi=ezi−m∑j=1Kezj−m,m=max⁡jzj(11)p_i = \frac{e^{z_i - m}}{\sum_{j=1}^{K} e^{z_j - m}}, \qquad m = \max_j z_j \tag{11}

예시에 998을 더한 z+998=(1000, 999, 998.1)\mathbf{z} + 998 = (1000,\ 999,\ 998.1)을 식 (1) 그대로 계산하면 분자와 분모가 모두 inf라 결과가 nan이다. 식 (11)로는 m=1000m = 1000을 빼 (0, −1, −1.9)(0,\ -1,\ -1.9)의 지수를 쓰니, 결과가 z\mathbf{z}와 같은 (0.659, 0.242, 0.099)(0.659,\ 0.242,\ 0.099)다.

최댓값을 빼면 지수가 모두 e0=1e^{0} = 1 이하이고, 분모에는 e0=1e^{0} = 1이 하나 들어 있어 0으로 나눌 일도 없다. 반대로 z−1000\mathbf{z} - 1000을 그대로 계산하면 지수가 모두 0으로 내려가(언더플로) 0 ÷ 0 = nan이 된다.22 torch.softmax나 scipy.special.softmax 같은 라이브러리 함수는 이 처리를 안에서 한다.

PyTorch에서 소프트맥스를 쓸 때 축과 로그를 조심해야 한다

실무에서 흔히 틀리는 자리는 합을 1로 만들 축과, 확률을 먼저 구한 뒤 로그를 취하는 순서다.

torch.softmax의 dim=-1은 무슨 뜻이야?

torch.softmax의 dim=-1은 합을 1로 만들 축이 마지막 축(클래스)이라는 뜻이다. 예시의 로짓을 두 번 쌓은 2×3 배열에 dim=-1을 주면 행마다 (0.659, 0.242, 0.099)(0.659,\ 0.242,\ 0.099)가 나온다. dim=0을 주면 같은 클래스끼리 두 샘플에 걸쳐 합이 1이 되어, 모든 칸이 0.5라는 뜻 없는 값이 된다.

log_softmax(로그 소프트맥스)는 왜 따로 쓰나?

확률을 먼저 구해 로그를 취하면, 아주 작은 확률이 0으로 내려가 log⁡0=−∞\log 0 = -\infty가 되기 때문이다. 로짓이 (2000, 1000, 100)(2000,\ 1000,\ 100)이면 소프트맥스의 p2p_2는 0이 되지만, log_softmax는 log⁡p2≈−1000\log p_2 \approx -1000을 그대로 낸다(계산법은 로그 함수 페이지). PyTorch 문서도 NLLLoss 앞에는 소프트맥스가 아니라 log_softmax를 쓰라고 적는다.

코드로 확인하기

코드의 tau를 바꿔 그림 2의 세 막대를 직접 만들어 보자. 출력의 '빼지 않음' 줄이 nan이다.

수식
pi=ezi/τ∑j=1Kezj/τ(4)\sym{probs}{p}_i = \frac{e^{\sym{logits}{z}_i/\sym{tau}{\tau}}}{\sum_{j=1}^{K} e^{\sym{logits}{z}_j/\sym{tau}{\tau}}} \tag{4}pi=ezi−m∑j=1Kezj−m,m=max⁡jzj(11)\sym{probs}{p}_i = \frac{e^{\sym{logits}{z}_i - m}}{\sum_{j=1}^{K} e^{\sym{logits}{z}_j - m}}, \qquad m = \max_j \sym{logits}{z}_j \tag{11}
코드 figures/softmax.py
import numpy as np

def softmax(logits, tau=1.0):
    s = logits / tau              # 식 (4) 온도
    ex = np.exp(s - s.max())      # 식 (11) 최댓값 빼기
    return ex / ex.sum()          # 식 (1)

logits = np.array([2.0, 1.0, 0.1])     # z
probs = softmax(logits)                # p
print("p        ", probs.round(3), probs.sum())
print("p1 / p2  ", round(probs[0] / probs[1], 3))  # 식 (2)
print("z + 998  ", softmax(logits + 998).round(3))  # 식 (3)
with np.errstate(over="ignore", invalid="ignore"):
    raw = np.exp(logits + 998)         # e^1000 = inf
    print("빼지 않음", raw / raw.sum())
for tau in (0.5, 1.0, 2.0):
    print("tau", tau, " ", softmax(logits, tau).round(3))
$ python softmax.py
p         [0.659 0.242 0.099] 1.0
p1 / p2   2.718
z + 998   [0.659 0.242 0.099]
빼지 않음 [nan nan nan]
tau 0.5   [0.864 0.117 0.019]
tau 1.0   [0.659 0.242 0.099]
tau 2.0   [0.502 0.304 0.194]

직접 해보기

  1. 로짓 (1, 0, 0)(1,\ 0,\ 0)의 소프트맥스를 손으로 구하라. 로짓 (2.0, 1.0, 1.0)(2.0,\ 1.0,\ 1.0)은 어떤가?
  2. 클래스가 둘일 때 p1=0.9p_1 = 0.9가 되려면 z1−z2z_1 - z_2는 얼마여야 하나? 온도가 τ=2\tau = 2라면?
  3. 예시 로짓 (2.0, 1.0, 0.1)(2.0,\ 1.0,\ 0.1)에서 정답이 클래스 2(고양이)라면, 교차엔트로피 손실과 그래디언트 p−y\mathbf{p} - \mathbf{y}는?
  4. 로짓 (1, 0, 0)(1,\ 0,\ 0)을 온도 τ=0.5\tau = 0.5로 소프트맥스하면? 문제 1의 답과 비교하라.
  5. 로짓 (1, 0, 0)(1,\ 0,\ 0)의 LSE를 구하고, 식 (7)의 범위에 드는지 확인하라.
답
  1. 분모가 e+1+1≈4.718e + 1 + 1 \approx 4.718이라 (e/(e+2), 1/(e+2), 1/(e+2))≈(0.576, 0.212, 0.212)(e/(e+2),\ 1/(e+2),\ 1/(e+2)) \approx (0.576,\ 0.212,\ 0.212)다. (2.0, 1.0, 1.0)(2.0,\ 1.0,\ 1.0)은 모두 1을 빼면 (1, 0, 0)(1,\ 0,\ 0)이라, 식 (3)대로 같은 값이다. 흔한 오해의 0.551은 정답 자리만 1인 원-핫을 CrossEntropyLoss에 확률로 넣었을 때의 손실 −log⁡ee+2=log⁡(1+2/e)≈0.551-\log\frac{e}{e+2} = \log(1 + 2/e) \approx 0.551이다.
  2. 식 (2)에서 p1/p2=0.9/0.1=9=ez1−z2p_1/p_2 = 0.9/0.1 = 9 = e^{z_1 - z_2}이니 z1−z2=log⁡9≈2.197z_1 - z_2 = \log 9 \approx 2.197이다. τ=2\tau = 2면 식 (4)에서 (z1−z2)/2=log⁡9(z_1 - z_2)/2 = \log 9라, 그 두 배인 약 4.394다.
  3. y=(0, 1, 0)\mathbf{y} = (0,\ 1,\ 0)이니 손실은 −log⁡p2≈1.417-\log p_2 \approx 1.417로, 식 (6)의 로그 소프트맥스 −1.417-1.417에 마이너스를 붙인 값이다. 식 (10)의 그래디언트는 (0.659, −0.758, 0.099)(0.659,\ -0.758,\ 0.099)다. 정답 자리만 음수라서 경사하강법은 고양이의 로짓을 올리고 나머지를 내린다.
  4. 식 (4)대로 로짓을 0.5로 나눈 (2, 0, 0)(2,\ 0,\ 0)을 식 (1)에 넣는다. 분모가 e2+2≈9.389e^{2} + 2 \approx 9.389라 (0.787, 0.107, 0.107)(0.787,\ 0.107,\ 0.107)이다. 순서는 문제 1과 같고, 첫 확률이 0.576에서 0.787로 쏠린다.
  5. LSE⁡=log⁡(e+1+1)=log⁡(e+2)≈1.551\operatorname{LSE} = \log(e + 1 + 1) = \log(e + 2) \approx 1.551이다. max 1보다 크고 1+log⁡3≈2.0991 + \log 3 \approx 2.099보다 작아 식 (7)의 범위에 든다. 흔한 오해의 0.551이 바로 LSE⁡−z1=1.551−1\operatorname{LSE} - z_1 = 1.551 - 1이다.

더 읽기

  • Deep Learning, 6장 Deep Feedforward Networks — Goodfellow·Bengio·Courville, 2016. 6.2.2.3절이 분류 출력층의 소프트맥스를 다룬다. 로짓을 정규화 안 된 로그 확률로 읽고, log-softmax로 손실을 쓰고, 모든 입력에 같은 수를 더해도 그대로임을 보인다. 같은 책 4장 Numerical Computation의 4.1절은 최댓값을 빼서 소프트맥스를 안정하게 계산하는 법을 예로 든다. '소프트맥스가 nan을 낼 때 왜 최댓값을 빼나' §와 '소프트맥스는 max가 아니라 argmax를 부드럽게 한 것이다' §가 기댄다.
  • Probabilistic Interpretation of Feedforward Classification Network Outputs, with Relationships to Statistical Pattern Recognition — J. S. Bridle, 1990. Neurocomputing(NATO ASI Series F68), Springer. 'softmax'라는 이름이 나온 논문으로 알려져 있다. '소프트맥스는 max가 아니라 argmax를 부드럽게 한 것이다' §의 이름 이야기가 기댄다.
  • Attention Is All You Need — Vaswani 외, 2017. NeurIPS. 3.2.1절의 scaled dot-product attention이 dk\sqrt{d_k}로 나눈 내적을 소프트맥스하고, 나누는 이유를 짐작한다. 온도 §와 '소프트맥스는 AI에서 어디에 쓰이나' §의 어텐션 문장이 기댄다.
  • On Calibration of Modern Neural Networks — Guo·Pleiss·Sun·Weinberger, 2017. ICML. 현대 신경망의 소프트맥스 확률이 실제 정답률보다 높게 나오는 경향을 재고, 로짓을 온도 하나로 나눠 보정하는 온도 스케일링을 제안한다. 흔한 오해 §의 첫 항목이 기댄다.
  • torch.nn.CrossEntropyLoss — PyTorch 공식 문서. 입력이 정규화 안 된 로짓이어야 한다고 적고(2.15판에서 확인), 이 손실이 LogSoftmax 뒤에 NLLLoss를 적용한 것과 같다고 적는다. softmax·log_softmax 문서가 dim 인자와 log_softmax를 따로 쓰는 이유를 설명한다. 대응표와 흔한 오해 §가 기댄다.
  • Transformers — generation/logits_process.py — Hugging Face, 2026년 11월에 확인한 소스. TemperatureLogitsWarper가 양수가 아닌 temperature에 오류를 내고, 0.0이면 do_sample=False를 쓰라고 안내한다. '소프트맥스 온도를 0으로 하면 어떻게 돼?' 질문이 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — “로짓 (2.0, 1.0, 0.1)을 확률로 바꾸려면?”
  • 00:40 식 (1) 판서와 그림 1 — 지수로 키우고 합으로 나눈다, 손으로 0.659까지
  • 02:00 식 (2)·(3) — 비율은 차이만, 차이 1이면 ee · 실력 점수 비유
  • 03:20 식 (4)와 그림 2·3 — 온도를 내리면 원-핫, 올리면 1/3
  • 04:40 그림 4 — 클래스가 둘이면 시그모이드
  • 05:40 식 (6)~(8)과 그림 5 — log-sum-exp는 max를, 소프트맥스는 argmax를 부드럽게
  • 06:50 CrossEntropyLoss에는 로짓을 · 어텐션의 dk\sqrt{d_k}
  • 08:00 식 (11) — e1000e^{1000}은 inf, 최댓값을 빼도 그대로 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

실수 지수미적분지수법칙미적분확률의 연쇄 법칙확률·통계벡터와 내적선형대수시그마 (수열의 합)미적분로그 함수미적분조건부 확률확률·통계지수함수미적분최댓값과 argmax예정분포에서 샘플링확률·통계소프트맥스지금 이 페이지어텐션예정교차엔트로피예정소프트맥스 회귀예정top-k·top-p 샘플링예정
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 11, 그림 3, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 7개·Bridle DOI·PyTorch 2.15 문서와 소프트맥스 커널 확인, Wikidata Q7554146, 선수에 시그마·로그 추가, 시그마·로그 페이지 링크, 그림(SVG·OG 이미지·mp4)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 벡터·행렬 페이지 링크 연결
  4. 2026-11-05 · 확률분포와 조건부 확률 페이지 링크 연결, 선수를 확률분포(예정)에서 그 페이지로
  5. 2026-11-05 · 영어판 번역
  6. 2026-11-05 · 남은 질문 둘을 교차엔트로피 페이지(예정, 온도 보정)와 어텐션 페이지(예정, sparsemax)로 넘김 (영어판도), 선수에 지수 함수·argmax(예정) 연결
  7. 2026-11-13 · 독자 패널 리뷰 반영 — argmax를 자리(번호)로 고침, 예시에 개·고양이·새, 첫 기호표를 일곱 행으로, 최댓값 빼기 §를 구현 쪽으로 옮기며 식 번호를 다시 매김, 로그 함수 페이지와 겹친 설명을 줄임, 다중 분류·소프트맥스 미분 낱말 (영어판도)
  8. 2026-11-17 · 전수 검수 반영 — 지수를 거쳐 합으로 나누는 계산 과정 그림과 max·LSE 비교 그림 추가, 그림 번호 다시 매김, 직접 해보기를 다섯 문항으로(교차엔트로피·온도·LSE), 남은 작업 주석 정리 (에이전트 수정, 그림 3→5)
  9. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림