최적화학습률 스케줄#536

학습률 스케줄

Learning Rate Schedule

학습률 스케줄(learning rate schedule)은 걸음마다 학습률을 바꾸는 규칙이다. 샘플 넷에서 복원 추출로 하나씩 뽑는 SGD를 0.1로 고정하면 100걸음 뒤 손실이 최솟값보다 평균 5.11 높고, 50걸음째 0.01로 낮추면 0.31 높다. 감쇠·워밍업·배치를 본다.

읽는 시간
약 11분
선수 개념
경사하강법미니배치 SGD

직관 — 처음엔 한 숟가락, 간이 맞아 가면 한 꼬집

직관

급식 간을 맞출 때 처음에는 소금을 한 숟가락씩 넣어 빨리 맞춘다. 매번 몇 사람에게만 물어 답이 들쭉날쭉하니, 끝까지 한 숟가락씩 넣으면 짰다 싱거웠다를 되풀이한다. 그래서 간이 거의 맞으면 한 꼬집씩으로 줄인다.

숟가락의 크기는 학습률, 들쭉날쭉한 답은 미니배치의 그래디언트 잡음이다. 숟가락을 언제 얼마나 줄일지 정한 계획이 학습률 스케줄이다. 신경망 학습 코드는 옵티마이저에 스케줄러를 붙여 걸음마다 학습률을 바꾼다.

학습률 스케줄은 걸음마다 학습률을 정하는 규칙이다

학습률 스케줄은 걸음 번호 tt마다 학습률 ηt\eta_t를 정하는 규칙이다. 학습률 스케줄링이라고도 하며, 코드에서는 LR scheduler(학습률 스케줄러)가 맡는다. 미니배치 SGD의 갱신식에서 고정된 η\eta 자리에 ηt\eta_t가 들어간다.

θt+1=θt−ηt gBt(θt)(1)\theta_{t+1}=\theta_t-\eta_t\,g_{\mathcal B_t}(\theta_t) \tag{1}

예시는 미니배치 SGD 페이지의 네 샘플이다. 출발점은 θ0=(−4.4, 1.5)\theta_0=(-4.4,\ 1.5), 전체 손실은 L=12(x2+10y2)+7L=\tfrac12(x^2+10y^2)+7이다. 그 페이지의 식 (9)에 ηt\eta_t를 넣으면 세로 좌표는 이렇게 움직인다.

yt+1=(1−10ηt) yt+10ηt bˉBt(2)y_{t+1}=(1-10\eta_t)\,y_t+10\eta_t\,\bar b_{\mathcal B_t} \tag{2}
정의
기호이름원어뜻
ηt\eta_t학습률learning ratett번째 걸음에 쓰는 학습률. 이 페이지의 주인공
t, Tt,\ T걸음 번호·총 걸음 수step / total steps갱신 횟수(이터레이션)와 계획한 전체 걸음 수
θt\theta_t파라미터parameter좌표 (xt,yt)(x_t,y_t)
gBtg_{\mathcal B_t}배치 그래디언트batch gradient이번 미니배치의 평균 그래디언트
bˉBt\bar b_{\mathcal B_t}배치의 세로 목표 평균mean vertical target뽑힌 샘플이 선호하는 세로 좌표의 평균. 샘플 하나의 값은 11이나 −1-1
E[⋅]\mathrm E[\cdot]기댓값expectation같은 뽑기를 무수히 되풀이했을 때의 평균
DtD_t초과 손실excess lossE[L(θt)]−7\mathrm E[L(\theta_t)]-7. 평균 손실이 최솟값 7보다 높은 만큼

이 페이지는 배치 크기 1로, 걸음마다 샘플 하나를 복원 추출로 뽑는다. 그러면 bˉ\bar b는 1과 −1-1이 반반이다. 학습률 0.1로 고정하면 10η=110\eta=1이라, 식 (2)에서 yy는 늘 방금 뽑은 bˉ\bar b, 곧 ±1\pm1이다. 50걸음째 0.01로 낮추면 식 (2)가 yt+1=0.9 yt+0.1 bˉy_{t+1}=0.9\,y_t+0.1\,\bar b가 되어, 새 목표를 10%만 섞는다. 그림 1은 같은 뽑기로 두 일정을 따라간 yy다.

샘플 하나를 복원 추출로 뽑는 SGD의 세로 좌표 y_t. 학습률 0.1로 고정하면 y가 1과 -1을 오가고, 50걸음째 0.01로 낮추면 같은 뽑기에서도 마지막 40걸음의 | y|가 0.6보다 작다. ±√V를 단 두 가는 선은 식 (4)에 0.01을 넣은 ±√V≈±0.23이다.
그림 1 샘플 하나를 복원 추출로 뽑는 SGD의 세로 좌표 yty_t. 학습률 0.1로 고정하면 yy가 1과 −1-1을 오가고, 50걸음째 0.01로 낮추면 같은 뽑기에서도 마지막 40걸음의 ∣y∣\lvert y\rvert가 0.6보다 작다. ±V\pm\sqrt{V}를 단 두 가는 선은 식 (4)에 0.01을 넣은 ±V≈±0.23\pm\sqrt{V}\approx\pm0.23이다. figures/sgd_noise_path.py

고정 학습률의 SGD는 바닥에서 얼마나 흔들리나

배치 크기 1에서 학습률을 0.1로 고정하면 yy의 제곱 평균이 1, 0.01이면 1/19≈0.0531/19\approx0.053에서 멈춘다. 걸음마다 학습률에 비례한 새 잡음이 들어오고, 지난 흔들림은 일정한 비율로만 줄어 둘이 균형을 이루는 값이다.

식 (2)를 제곱해 평균 내면 식 (3)이다. 새로 뽑은 bˉ\bar b는 지금의 yty_t와 독립이고 평균이 0, 제곱이 1이라 곱셈 항이 사라진다.

E[yt+12]=(1−10ηt)2 E[yt2]+(10ηt)2(3)\mathrm E[y_{t+1}^2]=(1-10\eta_t)^2\,\mathrm E[y_t^2]+(10\eta_t)^2 \tag{3}

학습률을 0<η<0.20<\eta<0.2로 고정하면 E[yt2]\mathrm E[y_t^2]는 양변이 같아지는 값 VV로 간다. V=(1−10η)2V+(10η)2V=(1-10\eta)^2V+(10\eta)^2을 VV에 대해 풀면 다음과 같다.

V=10η2−10η(4)V=\frac{10\eta}{2-10\eta} \tag{4}

η=0.1\eta=0.1이면 V=1V=1, 0.05면 1/31/3, 0.01이면 1/191/19다. 미니배치 SGD 페이지의 '분산 1에서 1/3로'가 이 식의 두 값이다. 작은 η\eta에서는 V≈5ηV\approx5\eta, 곧 yy의 제곱 평균이 학습률에 거의 비례한다.

대신 작은 학습률은 느리다. 가로 성분은 식 (2)의 10 자리에 1이 들어가 평균이 걸음마다 (1−η)(1-\eta)배가 된다. η=0.01\eta=0.01이면 100걸음 뒤 xx의 평균이 처음의 0.99100≈0.370.99^{100}\approx0.37배, 곧 약 −1.61-1.61이다.

그림 2는 두 방향을 합친 초과 손실 Dt=12E[xt2]+5 E[yt2]D_t=\tfrac12\mathrm E[x_t^2]+5\,\mathrm E[y_t^2]다. 가로 성분은 식 (3)의 10을 1로, 목표의 분산 1을 4로 바꿔 계산한다. 고정 0.1은 5.11에 머물고, 고정 0.01은 100걸음 뒤에도 1.57로 내려가는 중이다. 50걸음 동안 0.1로 빨리 내려온 뒤 0.01로 줄인 계단 일정은 0.31이다.

배치 크기 1에서 초과 손실 D_t(로그 눈금, 출발값 20.93). 100걸음 뒤 고정 0.1은 5.11, 고정 0.01은 1.57, 50걸음째 0.01로 낮춘 일정은 0.31이다.
그림 2 배치 크기 1에서 초과 손실 DtD_t(로그 눈금, 출발값 20.93). 100걸음 뒤 고정 0.1은 5.11, 고정 0.01은 1.57, 50걸음째 0.01로 낮춘 일정은 0.31이다. figures/excess_loss_curves.py
핵심

학습률 스케줄은 처음엔 큰 학습률로 빨리 내려오고, 나중엔 작은 학습률로 SGD의 잡음이 남기는 흔들림을 줄이는 규칙이다.

학습률 스케줄 없이 작은 학습률로 고정하면 안 돼?

안 되는 건 아니지만, 작은 고정 학습률은 흔들림이 작은 대신 바닥까지 오래 걸린다. 네 샘플 예시에서 샘플을 하나씩 뽑아 0.01로 고정하면 100걸음 뒤 초과 손실이 1.57로, 0.1에서 0.01로 낮춘 계단 일정의 0.31보다 5배쯤 크다. 덜 휘어진 가로 방향의 평균이 한 걸음에 1%씩만 줄어서다.

계단·지수·코사인 감쇠는 학습률을 어떻게 줄이나

세 감쇠 일정은 모두 η0\eta_0에서 출발해 줄어들고, 줄이는 모양만 다르다. 계단은 ss걸음마다 γ\gamma배로 뚝 떨어뜨리고, 지수는 걸음마다 γ\gamma배씩, 코사인은 반 주기 코사인을 따라 매끄럽게 ηmin⁡\eta_{\min}까지 간다.

ηt=η0 γ⌊t/s⌋(5)\eta_t=\eta_0\,\gamma^{\lfloor t/s\rfloor} \tag{5} ηt=η0 γt(6)\eta_t=\eta_0\,\gamma^{t} \tag{6} ηt=ηmin⁡+12(η0−ηmin⁡)(1+cos⁡πtT)(7)\eta_t=\eta_{\min}+\tfrac12(\eta_0-\eta_{\min})\Bigl(1+\cos\frac{\pi t}{T}\Bigr) \tag{7}
정의
기호이름원어뜻
η0, ηmin⁡\eta_0,\ \eta_{\min}처음·끝 학습률initial / minimum lr출발값과 코사인의 끝값
γ\gamma감쇠 배율decay factor한 번 줄일 때 곱하는 수, 0<γ<10<\gamma<1
ss계단 길이step size한 계단의 걸음 수

⌊t/s⌋\lfloor t/s\rfloor는 t/st/s를 넘지 않는 가장 큰 정수(교과서의 가우스 기호 [t/s][t/s]), 곧 지금까지 지난 계단 수다. 식 (6)은 공비가 γ\gamma인 등비수열이다. 식 (7)은 코사인 그래프의 반 주기다. t=0t=0이면 cos⁡0=1\cos0=1이라 η0\eta_0, t=Tt=T면 cos⁡π=−1\cos\pi=-1이라 ηmin⁡\eta_{\min}이다. 코사인 어닐링(cosine annealing)이라고도 부른다.

걸음 tt025507599
계단 (s=50, γ=0.1s=50,\ \gamma=0.1)0.10.10.010.010.01
지수 (γ=0.95\gamma=0.95)0.10.02770.00770.00210.0006
코사인 (ηmin⁡=0, T=100\eta_{\min}=0,\ T=100)0.10.08540.050.01460.00002

그림 3은 워밍업을 붙인 일정까지 넷을 그린다. 이 예시에서 100걸음 뒤 초과 손실은 코사인 0.22, 지수 0.27, 계단 0.31로, 셋 다 고정 일정보다 훨씬 작다.

100걸음 동안의 학습률 η_t. 식 (5)의 계단(s=50, γ=0.1), 식 (6)의 지수(γ=0.95), 식 (7)의 코사인(η_min=0), 그리고 식 (11)로 10걸음 동안 0.01씩 올린 뒤 남은 90걸음을 코사인으로 내린 일정이다.
그림 3 100걸음 동안의 학습률 ηt\eta_t. 식 (5)의 계단(s=50s=50, γ=0.1\gamma=0.1), 식 (6)의 지수(γ=0.95\gamma=0.95), 식 (7)의 코사인(ηmin⁡=0\eta_{\min}=0), 그리고 식 (11)로 10걸음 동안 0.01씩 올린 뒤 남은 90걸음을 코사인으로 내린 일정이다. figures/schedule_shapes.py

코사인 스케줄과 계단 스케줄(StepLR)은 뭐가 달라?

코사인 스케줄은 학습률을 매끄럽게 줄여 끝에서 0 가까이 가고, 계단 스케줄은 정해 둔 걸음에서 γ\gamma배로 한 번에 떨어뜨린다. 네 샘플 예시의 100걸음에서는 코사인이 초과 손실 0.22, 50걸음째 0.1배로 떨어뜨린 계단이 0.31이다. 코사인은 총 걸음 수 TT를, 계단은 시점과 배율을 정해 둔다.

학습률은 얼마나 빨리 줄여야 하나 — 로빈스·먼로 조건

학습률의 합은 끝없이 커지고, 제곱의 합은 유한해야 한다. Deep Learning 8.3.1이 SGD 수렴의 충분조건으로 드는 식 (8)로, Robbins·Monro(1951)에서 왔다. 첫 조건은 끝까지 갈 거리를, 둘째 조건은 쌓이는 잡음이 유한함을 보장한다.

∑t=0∞ηt=∞,∑t=0∞ηt2<∞(8)\sum_{t=0}^{\infty}\eta_t=\infty,\qquad \sum_{t=0}^{\infty}\eta_t^2<\infty \tag{8} ηt=0.1t+1(9)\eta_t=\frac{0.1}{t+1} \tag{9}

식 (9)는 두 조건을 다 지킨다. 합은 조화급수의 0.1배라 발산하고, 제곱의 합은 0.01∑1/n20.01\sum1/n^2로 0.02보다 작다(p급수). 이때 10ηt=1/(t+1)10\eta_t=1/(t+1)이라 식 (2)가 yt+1=tt+1yt+1t+1bˉBty_{t+1}=\tfrac{t}{t+1}y_t+\tfrac{1}{t+1}\bar b_{\mathcal B_t}가 된다. 거슬러 풀면 yty_t는 지금까지 뽑은 목표의 평균이다.

yt=bˉB0+bˉB1+⋯+bˉBt−1t(t≥1)(10)y_t=\frac{\bar b_{\mathcal B_0}+\bar b_{\mathcal B_1}+\cdots+\bar b_{\mathcal B_{t-1}}}{t}\qquad(t\ge1) \tag{10}

그래서 E[yt2]=1/t\mathrm E[y_t^2]=1/t다. 표본평균의 분포에서 표본평균의 분산이 모분산 ÷ 표본 크기인 것과 같은 계산이다(모분산 1, 표본 크기 tt).

그림 4는 일정 셋을 10,000걸음까지 본다. 고정 0.1은 둘째 조건을 어겨 E[y2]\mathrm E[y^2]가 1에 머문다. 끝없이 이어 가는 지수 감쇠 0.1⋅0.95t0.1\cdot0.95^t는 합이 0.1/(1−0.95)=20.1/(1-0.95)=2로 유한해 첫 조건을 어긴다. xx의 평균이 −0.56-0.56 근처에서 멈춘다.

식 (9)는 두 조건을 지키지만, 100걸음까지 학습률의 합이 0.1×5.187≈0.520.1\times5.187\approx0.52뿐이라 xx의 평균이 아직 −2.60-2.60이다. 조건은 언젠가 닿는다는 보장일 뿐이라, 걸음 수가 정해진 학습은 그 안에서 끝나는 계단·코사인·선형 감쇠를 흔히 쓴다.

일정 셋을 10,000걸음까지(가로 로그 눈금). 위는 |mathrm E[x_t]|, 아래는 mathrm E[y_t^2](로그 눈금)다. 고정 0.1은 mathrm E[y^2]=1에 머물고, 0.1·0.95^t는 |mathrm E[x]|≈0.56에서 멈추며, 0.1/(t+1)은 mathrm E[y_t^2]=1/t로 줄지만 |mathrm E[x_t]|는 느리게 준다.
그림 4 일정 셋을 10,000걸음까지(가로 로그 눈금). 위는 ∣E[xt]∣\lvert\mathrm E[x_t]\rvert, 아래는 E[yt2]\mathrm E[y_t^2](로그 눈금)다. 고정 0.1은 E[y2]=1\mathrm E[y^2]=1에 머물고, 0.1⋅0.95t0.1\cdot0.95^t는 ∣E[x]∣≈0.56\lvert\mathrm E[x]\rvert\approx0.56에서 멈추며, 0.1/(t+1)0.1/(t+1)은 E[yt2]=1/t\mathrm E[y_t^2]=1/t로 줄지만 ∣E[xt]∣\lvert\mathrm E[x_t]\rvert는 느리게 준다. figures/robbins_monro.py

워밍업은 왜 처음 몇 걸음의 학습률을 낮추나

학습 초반의 손실 지형이 더 가파르게 휘어 있으면, 그 곡률이 허락하는 학습률 상한이 낮기 때문이다. 경사하강법에서 가장 휘어진 방향의 곡률이 kk면 고정 학습률의 상한은 2/k2/k였다.

선형 워밍업(warmup)은 처음 WW걸음 동안 학습률을 목표값 ηpeak\eta_{\text{peak}}까지 일정하게 올리고, 그 뒤 감쇠 일정으로 넘긴다.

ηt=ηpeak t+1W(0≤t<W)(11)\eta_t=\eta_{\text{peak}}\,\frac{t+1}{W}\qquad(0\le t<W) \tag{11}

초반 곡률이 20이라고 가정하면 상한은 0.1이다. 목표 0.15로 바로 시작하면 그 방향 성분의 평균이 걸음마다 ∣1−20×0.15∣=2\lvert1-20\times0.15\rvert=2배로 커진다. 식 (11)에 W=5W=5를 넣어 0.03, 0.06, 0.09로 올려 가면 인자의 절댓값이 0.4, 0.2, 0.8로 1보다 작다. 곡률이 그대로 20이면 0.12부터 다시 1을 넘으니, 워밍업은 곡률이 내려올 시간을 번다. 곡률이 10으로 내려오면 0.15의 인자는 ∣1−1.5∣=0.5\lvert1-1.5\rvert=0.5다.

Goyal 외(2017)는 배치에 맞춰 키운 학습률이 신경망이 빠르게 바뀌는 초반에는 맞지 않는다고 보고, 5에포크에 걸쳐 올리는 워밍업을 썼다. Kalra·Barkeshli(2024)는 워밍업이 손실 지형의 조건이 좋은 곳으로 이끌어 더 큰 목표 학습률을 견디게 한다고 보고했다. 곡률이 10으로 고정인 이 그릇에서는 그림 3의 (11)→(7) 일정처럼 워밍업을 붙여도 100걸음 뒤 초과 손실이 0.23으로, 코사인만 쓴 0.22와 거의 같다.

배치 크기를 r배로 키우면 학습률도 r배로 키우나 — 선형 스케일링 규칙

학습률이 작을 때는 그렇다. 작은 배치의 rr걸음과 큰 배치의 한 걸음이 거의 같은 곳에 닿고, 바닥 근처의 흔들림도 거의 같다. 배치 크기를 rr배로 키우면 학습률도 rr배로 키우라는 경험칙이 선형 스케일링 규칙이다(Goyal 외 2017, 2.1절).

B → rB⟹η → rη(12)B\ \to\ rB\quad\Longrightarrow\quad \eta\ \to\ r\eta \tag{12}

세로 평균은 작은 배치로 rr걸음이면 (1−10η)r(1-10\eta)^r배, 큰 배치로 한 걸음이면 (1−10rη)(1-10r\eta)배다. r=4r=4, η=0.01\eta=0.01이면 0.94≈0.6560.9^4\approx0.656과 0.6으로 가깝다. η=0.05\eta=0.05면 0.54=0.06250.5^4=0.0625와 −1-1로 전혀 다르다. 10η10\eta가 작을수록 이항정리의 근삿값 (1−10η)r≈1−10rη(1-10\eta)^r\approx1-10r\eta가 잘 맞기 때문이다.

흔들림은 BB개를 복원 추출로 뽑으면 bˉ\bar b의 분산이 1/B1/B라, 식 (4)가 이렇게 바뀐다.

V=10ηB (2−10η)(13)V=\frac{10\eta}{B\,(2-10\eta)} \tag{13}

작은 η\eta에서는 V≈5η/BV\approx5\eta/B라, η/B\eta/B가 같으면 흔들림도 거의 같다. (B,η)=(1,0.01),(2,0.02),(4,0.04)(B,\eta)=(1,0.01),(2,0.02),(4,0.04)는 VV가 0.0526, 0.0556, 0.0625로 가깝다. 그림 5의 동그라미다.

(1,0.05),(2,0.1)(1,0.05),(2,0.1)은 1/31/3과 1/21/2로 벌어진다. (4,0.2)(4,0.2)는 (1−10η)2=1(1-10\eta)^2=1이라 E[y2]\mathrm E[y^2]에 걸음마다 (10η)2/B=1(10\eta)^2/B=1이 쌓여 끝없이 커진다. 0.2는 경사하강법의 발산 경계다. Smith 외(2018)는 학습률을 1/5로 줄이는 대신 배치를 5배로 키워도 에포크별 학습 곡선이 같았다고 보고했다.

고정 학습률 η, 배치 크기 B(복원 추출)에서 세로 좌표의 제곱 평균이 머무는 값 V(식 (13), 로그 눈금). 동그라미는 η/B=0.01인 세 짝, 네모는 η/B=0.05인 B=1,2다. B=4, η=0.2는 발산 경계다.
그림 5 고정 학습률 η\eta, 배치 크기 BB(복원 추출)에서 세로 좌표의 제곱 평균이 머무는 값 VV(식 (13), 로그 눈금). 동그라미는 η/B=0.01\eta/B=0.01인 세 짝, 네모는 η/B=0.05\eta/B=0.05인 B=1,2B=1,2다. B=4, η=0.2B=4,\ \eta=0.2는 발산 경계다. figures/linear_scaling_floor.py

학습률 스케줄의 흔한 오해

  • 워밍업만 하면 목표 학습률을 마음껏 키워도 된다 — 곡률이 10으로 고정인 이 그릇에서는 워밍업 뒤 0.21이면 세로 평균이 걸음마다 ∣1−2.1∣=1.1\lvert1-2.1\rvert=1.1배로 커져 발산한다. Goyal 외도 워밍업을 쓰고서 약 8k 배치를 넘기면 정확도가 빠르게 나빠졌다고 적는다.
  • scheduler.step()은 optimizer.step()보다 먼저 불러도 같다 — PyTorch 1.1.0부터는 먼저 부르면 일정의 첫 값을 건너뛴다. 걸음마다 부르는 StepLR(step_size=50)이면 0.1로 50번 갈 것을 49번만 간다.

학습률 스케줄은 AI에서 어디에 쓰이나

학습 루프에서 학습률 스케줄은 optimizer.step() 뒤의 scheduler.step() 한 줄이다. 스케줄러가 바꿔 둔 lr을 다음 걸음의 식 (1)이 쓴다. 트랜스포머 원 논문은 처음 4,000걸음 동안 학습률을 선형으로 올린 뒤 걸음 수의 제곱근에 반비례해 줄였다(Vaswani 외 2017, 5.3절).

이 페이지PyTorch (torch.optim.lr_scheduler)
ηt\eta_tscheduler.get_last_lr()
식 (5) 계단StepLR(optimizer, step_size=50, gamma=0.1)
식 (6) 지수ExponentialLR(optimizer, gamma=0.95)
식 (7) 코사인CosineAnnealingLR(optimizer, T_max=100, eta_min=0)
식 (11) 워밍업, W=10W=10LinearLR(optimizer, start_factor=0.1, total_iters=9)
식 (11) 뒤 남은 90걸음에 식 (7) (그림 3)SequentialLR(optimizer, [warmup, cosine], milestones=[10]). warmup은 위 행, cosine은 CosineAnnealingLR(optimizer, T_max=90)
t→t+1t\to t+1scheduler.step(), optimizer.step() 뒤

scheduler.step()은 에포크마다 불러, 배치마다 불러?

대응표의 스케줄러는 어느 쪽으로 불러도 되고, step_size·T_max를 부르는 단위로 센다. 걸음마다 줄이려면 배치 루프 안에서 부르고 T_max를 총 걸음 수로 둔다. 샘플 60,000개를 배치 100으로 10에포크 돌리면 6,000이다.

코드로 확인하기

코드는 식 (3)을 가로·세로에 함께 써서 식 (7)의 코사인 일정의 D100D_{100}을 계산한다. eta 함수를 식 (5)나 식 (6)으로 바꾸면 0.31과 0.27이 나온다.

수식
E[yt+12]=(1−10 ηt)2 E[yt2]+(10 ηt)2(3)\sym{mean_sq}{\mathrm E[y_{t+1}^2]}=(1-10\,\sym{eta}{\eta_t})^2\,\mathrm E[y_t^2]+(10\,\sym{eta}{\eta_t})^2 \tag{3}
코드 figures/lr_schedule.py
import numpy as np

curv = np.array([1.0, 10.0])            # 가로·세로 곡률
var_target = np.array([4.0, 1.0])       # 목표 좌표 a, b 의 분산
mean_sq = np.array([-4.4, 1.5]) ** 2    # 출발점의 E[x²], E[y²]
eta0, T = 0.1, 100


def eta(t):                             # 식 (7) 코사인 감쇠, η_min = 0
    return 0.5 * eta0 * (1 + np.cos(np.pi * t / T))


for t in range(T):
    c = curv * eta(t)
    mean_sq = (1 - c) ** 2 * mean_sq + c ** 2 * var_target   # 식 (3), 두 방향
excess = 0.5 * np.sum(curv * mean_sq)                       # 초과 손실 D_T
print(f"eta_99 = {eta(T - 1):.5f}")
print(f"E[x^2] = {mean_sq[0]:.4f}, E[y^2] = {mean_sq[1]:.4f}")
print(f"D_100 = {excess:.3f}")
$ python lr_schedule.py
eta_99 = 0.00002
E[x^2] = 0.0629, E[y^2] = 0.0375
D_100 = 0.219

직접 해보기

  1. 배치 크기 1에서 학습률을 0.02로 고정하면 yy의 제곱 평균은 어디에 머무나? 0.01일 때의 몇 배인가?
답

식 (4)에 넣으면 V=0.2/(2−0.2)=1/9≈0.111V=0.2/(2-0.2)=1/9\approx0.111이다. 0.01일 때의 1/191/19과 비교하면 19/9≈2.119/9\approx2.1배다. 학습률은 2배인데 분모 2−10η2-10\eta가 작아진 만큼 2배보다 조금 크다.

  1. 식 (7)에서 η0=0.1\eta_0=0.1, ηmin⁡=0.001\eta_{\min}=0.001, T=100T=100이면 50걸음째와 100걸음째의 학습률은?
답

t=50t=50이면 cos⁡(π/2)=0\cos(\pi/2)=0이라 η50=0.001+12×0.099=0.0505\eta_{50}=0.001+\tfrac12\times0.099=0.0505다. 가운데에서 η0\eta_0와 ηmin⁡\eta_{\min}의 평균을 지난다. t=100t=100이면 cos⁡π=−1\cos\pi=-1이라 ηmin⁡=0.001\eta_{\min}=0.001이다.

  1. 식 (6)으로 100걸음 동안 학습률을 0.1에서 0.001(처음의 1%)로 줄이려면 γ\gamma는 얼마인가?
답

γ100=0.01\gamma^{100}=0.01이므로 γ=0.011/100=10−0.02≈0.955\gamma=0.01^{1/100}=10^{-0.02}\approx0.955다. Deep Learning 8.3.1은 선형 감쇠의 끝값을 처음의 1% 정도로 두라고 적는다.

  1. 식 (9) 대신 ηt=1/(t+10)\eta_t=1/(t+10)을 쓰면 100걸음 뒤 xx의 평균은 얼마인가? 식 (8)의 두 조건을 지키나?
답

xx의 평균은 걸음마다 1−1t+10=t+9t+101-\tfrac{1}{t+10}=\tfrac{t+9}{t+10}배다. 곱하면 910×1011×⋯×108109=9109\tfrac{9}{10}\times\tfrac{10}{11}\times\cdots\times\tfrac{108}{109}=\tfrac{9}{109}로 앞뒤가 지워진다. 그래서 −4.4×9/109≈−0.363-4.4\times9/109\approx-0.363으로, 식 (9)의 −2.60-2.60보다 훨씬 0에 가깝다. 합은 조화급수처럼 발산하고 제곱의 합은 유한해 두 조건을 모두 지킨다. 처음 학습률도 0.1로 같다.

  1. 배치 256에서 학습률 0.1을 쓰다가 배치를 1,024로 키웠다. 식 (12)의 목표 학습률은? 5에포크 동안 0.1에서 그 값까지 일정하게 올리면 2에포크가 끝난 때의 학습률은?
답

r=1024/256=4r=1024/256=4라 목표는 0.4다. 한 에포크에 (0.4−0.1)/5=0.06(0.4-0.1)/5=0.06씩 오르니 2에포크 뒤에는 0.1+2×0.06=0.220.1+2\times0.06=0.22다. Goyal 외는 같은 직선을 이터레이션마다 조금씩 올라간다.

더 읽기

  • Deep Learning, 8. Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.3.1. 최솟점에서도 사라지지 않는 SGD 잡음 때문에 학습률을 줄여야 한다는 설명, 식 (8.12)·(8.13)의 충분조건, 선형 감쇠와 끝값 1% 권고. '고정 학습률의 SGD는 바닥에서 얼마나 흔들리나'와 '학습률은 얼마나 빨리 줄여야 하나 — 로빈스·먼로 조건'이 기댄다.
  • SGDR: Stochastic Gradient Descent with Warm Restarts — Loshchilov·Hutter, ICLR 2017. 3절 식 (5)가 이 페이지 식 (7)의 코사인 감쇠다. 재시작은 이 페이지에서 다루지 않는다.
  • Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — Goyal 외, 2017. 2.1절의 선형 스케일링 규칙과 그 가정·한계(약 8k), 2.2절의 점진적 워밍업. '워밍업은 왜 처음 몇 걸음의 학습률을 낮추나'와 '배치 크기를 r배로 키우면 학습률도 r배로 키우나 — 선형 스케일링 규칙'이 기댄다.
  • Don't Decay the Learning Rate, Increase the Batch Size — Smith·Kindermans·Ying·Le, ICLR 2018. 2절의 Robbins·Monro 조건과 학습률·배치 크기로 쓴 잡음 크기, 5.1절의 '학습률을 1/5로 줄이는 것과 배치를 5배로 키우는 것'의 비교. 식 (13)이 같은 방향을 가리킨다.
  • Why Warmup the Learning Rate? Underlying Mechanisms and Improvements — Kalra·Barkeshli, NeurIPS 2024. 초록이 워밍업의 주된 이득을 더 큰 목표 학습률을 견디게 하는 데서 찾는다.
  • Attention Is All You Need — Vaswani 외, NeurIPS 2017. 5.3절의 4,000걸음 워밍업 뒤 걸음 수의 제곱근에 반비례하는 감쇠.
  • torch.optim — How to adjust learning rate — PyTorch 공식 문서, 수시 갱신. scheduler.step()의 호출 순서 경고와 스케줄러 목록. 대응표와 흔한 오해 둘째 줄이 기댄다.

영상 노트

영상 노트
  • 00:00 한 숟가락에서 한 꼬집으로 — 직관
  • 00:40 식 (1)·(2)와 그림 1, 고정 0.1에서 ±1을 오가는 yy
  • 01:40 식 (3)·(4) 판서, V=1, 1/3, 1/19V=1,\ 1/3,\ 1/19
  • 02:40 그림 2의 5.11, 1.57, 0.31
  • 03:30 식 (5)~(7)과 표, 그림 3의 네 일정
  • 04:40 식 (8)~(10) — 조화급수와 표본평균, 그림 4
  • 05:50 식 (11) 워밍업과 곡률 20 가정
  • 06:40 식 (12)·(13)과 그림 5의 η/B\eta/B
  • 07:40 PyTorch 대응표와 scheduler.step()의 순서
  • 08:20 코드랩에서 일정 바꿔 보기

지도에서의 위치

그래디언트미적분역전파AI경사하강법최적화미니배치 SGD최적화학습률 스케줄지금 이 페이지
선수 개념
이 페이지
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-17 · 에이전트 초안 — 전수 검수에서 분리 제안된 유형 (수식 13, 그림 5)
  2. 2026-11-17 · 전수 검수 반영 — 미니배치 SGD의 네 샘플 예시로 고정 학습률이 남기는 흔들림의 식, 계단·지수·코사인 감쇠 비교, 로빈스·먼로 조건과 표본평균, 워밍업과 곡률, 선형 스케일링과 배치 크기, PyTorch 대응표·코드랩·해보기 5문항을 씀. 검증 뒤 요약의 배치 크기 1 조건, 흔들림 절 제목, 워밍업 뒤 코사인 길이, 스케줄러 호출 범위를 바로잡음 (에이전트 수정, 그림 0→5)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림