직관 — 처음엔 한 숟가락, 간이 맞아 가면 한 꼬집
급식 간을 맞출 때 처음에는 소금을 한 숟가락씩 넣어 빨리 맞춘다. 매번 몇 사람에게만 물어 답이 들쭉날쭉하니, 끝까지 한 숟가락씩 넣으면 짰다 싱거웠다를 되풀이한다. 그래서 간이 거의 맞으면 한 꼬집씩으로 줄인다.
숟가락의 크기는 학습률, 들쭉날쭉한 답은 미니배치의 그래디언트 잡음이다. 숟가락을 언제 얼마나 줄일지 정한 계획이 학습률 스케줄이다. 신경망 학습 코드는 옵티마이저에 스케줄러를 붙여 걸음마다 학습률을 바꾼다.
학습률 스케줄은 걸음마다 학습률을 정하는 규칙이다
학습률 스케줄은 걸음 번호 마다 학습률 를 정하는 규칙이다. 학습률 스케줄링이라고도 하며, 코드에서는 LR scheduler(학습률 스케줄러)가 맡는다. 미니배치 SGD의 갱신식에서 고정된 자리에 가 들어간다.
예시는 미니배치 SGD 페이지의 네 샘플이다. 출발점은 , 전체 손실은 이다. 그 페이지의 식 (9)에 를 넣으면 세로 좌표는 이렇게 움직인다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 학습률 | learning rate | 번째 걸음에 쓰는 학습률. 이 페이지의 주인공 | |
| 걸음 번호·총 걸음 수 | step / total steps | 갱신 횟수(이터레이션)와 계획한 전체 걸음 수 | |
| 파라미터 | parameter | 좌표 | |
| 배치 그래디언트 | batch gradient | 이번 미니배치의 평균 그래디언트 | |
| 배치의 세로 목표 평균 | mean vertical target | 뽑힌 샘플이 선호하는 세로 좌표의 평균. 샘플 하나의 값은 이나 | |
| 기댓값 | expectation | 같은 뽑기를 무수히 되풀이했을 때의 평균 | |
| 초과 손실 | excess loss | . 평균 손실이 최솟값 7보다 높은 만큼 |
이 페이지는 배치 크기 1로, 걸음마다 샘플 하나를 복원 추출로 뽑는다. 그러면 는 1과 이 반반이다. 학습률 0.1로 고정하면 이라, 식 (2)에서 는 늘 방금 뽑은 , 곧 이다. 50걸음째 0.01로 낮추면 식 (2)가 가 되어, 새 목표를 10%만 섞는다. 그림 1은 같은 뽑기로 두 일정을 따라간 다.
figures/sgd_noise_path.py고정 학습률의 SGD는 바닥에서 얼마나 흔들리나
배치 크기 1에서 학습률을 0.1로 고정하면 의 제곱 평균이 1, 0.01이면 에서 멈춘다. 걸음마다 학습률에 비례한 새 잡음이 들어오고, 지난 흔들림은 일정한 비율로만 줄어 둘이 균형을 이루는 값이다.
식 (2)를 제곱해 평균 내면 식 (3)이다. 새로 뽑은 는 지금의 와 독립이고 평균이 0, 제곱이 1이라 곱셈 항이 사라진다.
학습률을 로 고정하면 는 양변이 같아지는 값 로 간다. 을 에 대해 풀면 다음과 같다.
이면 , 0.05면 , 0.01이면 다. 미니배치 SGD 페이지의 '분산 1에서 1/3로'가 이 식의 두 값이다. 작은 에서는 , 곧 의 제곱 평균이 학습률에 거의 비례한다.
대신 작은 학습률은 느리다. 가로 성분은 식 (2)의 10 자리에 1이 들어가 평균이 걸음마다 배가 된다. 이면 100걸음 뒤 의 평균이 처음의 배, 곧 약 이다.
그림 2는 두 방향을 합친 초과 손실 다. 가로 성분은 식 (3)의 10을 1로, 목표의 분산 1을 4로 바꿔 계산한다. 고정 0.1은 5.11에 머물고, 고정 0.01은 100걸음 뒤에도 1.57로 내려가는 중이다. 50걸음 동안 0.1로 빨리 내려온 뒤 0.01로 줄인 계단 일정은 0.31이다.
figures/excess_loss_curves.py학습률 스케줄은 처음엔 큰 학습률로 빨리 내려오고, 나중엔 작은 학습률로 SGD의 잡음이 남기는 흔들림을 줄이는 규칙이다.
학습률 스케줄 없이 작은 학습률로 고정하면 안 돼?
안 되는 건 아니지만, 작은 고정 학습률은 흔들림이 작은 대신 바닥까지 오래 걸린다. 네 샘플 예시에서 샘플을 하나씩 뽑아 0.01로 고정하면 100걸음 뒤 초과 손실이 1.57로, 0.1에서 0.01로 낮춘 계단 일정의 0.31보다 5배쯤 크다. 덜 휘어진 가로 방향의 평균이 한 걸음에 1%씩만 줄어서다.
계단·지수·코사인 감쇠는 학습률을 어떻게 줄이나
세 감쇠 일정은 모두 에서 출발해 줄어들고, 줄이는 모양만 다르다. 계단은 걸음마다 배로 뚝 떨어뜨리고, 지수는 걸음마다 배씩, 코사인은 반 주기 코사인을 따라 매끄럽게 까지 간다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 처음·끝 학습률 | initial / minimum lr | 출발값과 코사인의 끝값 | |
| 감쇠 배율 | decay factor | 한 번 줄일 때 곱하는 수, | |
| 계단 길이 | step size | 한 계단의 걸음 수 |
는 를 넘지 않는 가장 큰 정수(교과서의 가우스 기호 ), 곧 지금까지 지난 계단 수다. 식 (6)은 공비가 인 등비수열이다. 식 (7)은 코사인 그래프의 반 주기다. 이면 이라 , 면 이라 이다. 코사인 어닐링(cosine annealing)이라고도 부른다.
| 걸음 | 0 | 25 | 50 | 75 | 99 |
|---|---|---|---|---|---|
| 계단 () | 0.1 | 0.1 | 0.01 | 0.01 | 0.01 |
| 지수 () | 0.1 | 0.0277 | 0.0077 | 0.0021 | 0.0006 |
| 코사인 () | 0.1 | 0.0854 | 0.05 | 0.0146 | 0.00002 |
그림 3은 워밍업을 붙인 일정까지 넷을 그린다. 이 예시에서 100걸음 뒤 초과 손실은 코사인 0.22, 지수 0.27, 계단 0.31로, 셋 다 고정 일정보다 훨씬 작다.
figures/schedule_shapes.py코사인 스케줄과 계단 스케줄(StepLR)은 뭐가 달라?
코사인 스케줄은 학습률을 매끄럽게 줄여 끝에서 0 가까이 가고, 계단 스케줄은 정해 둔 걸음에서 배로 한 번에 떨어뜨린다. 네 샘플 예시의 100걸음에서는 코사인이 초과 손실 0.22, 50걸음째 0.1배로 떨어뜨린 계단이 0.31이다. 코사인은 총 걸음 수 를, 계단은 시점과 배율을 정해 둔다.
학습률은 얼마나 빨리 줄여야 하나 — 로빈스·먼로 조건
학습률의 합은 끝없이 커지고, 제곱의 합은 유한해야 한다. Deep Learning 8.3.1이 SGD 수렴의 충분조건으로 드는 식 (8)로, Robbins·Monro(1951)에서 왔다. 첫 조건은 끝까지 갈 거리를, 둘째 조건은 쌓이는 잡음이 유한함을 보장한다.
식 (9)는 두 조건을 다 지킨다. 합은 조화급수의 0.1배라 발산하고, 제곱의 합은 로 0.02보다 작다(p급수). 이때 이라 식 (2)가 가 된다. 거슬러 풀면 는 지금까지 뽑은 목표의 평균이다.
그래서 다. 표본평균의 분포에서 표본평균의 분산이 모분산 ÷ 표본 크기인 것과 같은 계산이다(모분산 1, 표본 크기 ).
그림 4는 일정 셋을 10,000걸음까지 본다. 고정 0.1은 둘째 조건을 어겨 가 1에 머문다. 끝없이 이어 가는 지수 감쇠 는 합이 로 유한해 첫 조건을 어긴다. 의 평균이 근처에서 멈춘다.
식 (9)는 두 조건을 지키지만, 100걸음까지 학습률의 합이 뿐이라 의 평균이 아직 이다. 조건은 언젠가 닿는다는 보장일 뿐이라, 걸음 수가 정해진 학습은 그 안에서 끝나는 계단·코사인·선형 감쇠를 흔히 쓴다.
figures/robbins_monro.py워밍업은 왜 처음 몇 걸음의 학습률을 낮추나
학습 초반의 손실 지형이 더 가파르게 휘어 있으면, 그 곡률이 허락하는 학습률 상한이 낮기 때문이다. 경사하강법에서 가장 휘어진 방향의 곡률이 면 고정 학습률의 상한은 였다.
선형 워밍업(warmup)은 처음 걸음 동안 학습률을 목표값 까지 일정하게 올리고, 그 뒤 감쇠 일정으로 넘긴다.
초반 곡률이 20이라고 가정하면 상한은 0.1이다. 목표 0.15로 바로 시작하면 그 방향 성분의 평균이 걸음마다 배로 커진다. 식 (11)에 를 넣어 0.03, 0.06, 0.09로 올려 가면 인자의 절댓값이 0.4, 0.2, 0.8로 1보다 작다. 곡률이 그대로 20이면 0.12부터 다시 1을 넘으니, 워밍업은 곡률이 내려올 시간을 번다. 곡률이 10으로 내려오면 0.15의 인자는 다.
Goyal 외(2017)는 배치에 맞춰 키운 학습률이 신경망이 빠르게 바뀌는 초반에는 맞지 않는다고 보고, 5에포크에 걸쳐 올리는 워밍업을 썼다. Kalra·Barkeshli(2024)는 워밍업이 손실 지형의 조건이 좋은 곳으로 이끌어 더 큰 목표 학습률을 견디게 한다고 보고했다. 곡률이 10으로 고정인 이 그릇에서는 그림 3의 (11)→(7) 일정처럼 워밍업을 붙여도 100걸음 뒤 초과 손실이 0.23으로, 코사인만 쓴 0.22와 거의 같다.
배치 크기를 r배로 키우면 학습률도 r배로 키우나 — 선형 스케일링 규칙
학습률이 작을 때는 그렇다. 작은 배치의 걸음과 큰 배치의 한 걸음이 거의 같은 곳에 닿고, 바닥 근처의 흔들림도 거의 같다. 배치 크기를 배로 키우면 학습률도 배로 키우라는 경험칙이 선형 스케일링 규칙이다(Goyal 외 2017, 2.1절).
세로 평균은 작은 배치로 걸음이면 배, 큰 배치로 한 걸음이면 배다. , 이면 과 0.6으로 가깝다. 면 와 로 전혀 다르다. 가 작을수록 이항정리의 근삿값 가 잘 맞기 때문이다.
흔들림은 개를 복원 추출로 뽑으면 의 분산이 라, 식 (4)가 이렇게 바뀐다.
작은 에서는 라, 가 같으면 흔들림도 거의 같다. 는 가 0.0526, 0.0556, 0.0625로 가깝다. 그림 5의 동그라미다.
은 과 로 벌어진다. 는 이라 에 걸음마다 이 쌓여 끝없이 커진다. 0.2는 경사하강법의 발산 경계다. Smith 외(2018)는 학습률을 1/5로 줄이는 대신 배치를 5배로 키워도 에포크별 학습 곡선이 같았다고 보고했다.
figures/linear_scaling_floor.py학습률 스케줄의 흔한 오해
- 워밍업만 하면 목표 학습률을 마음껏 키워도 된다 — 곡률이 10으로 고정인 이 그릇에서는 워밍업 뒤 0.21이면 세로 평균이 걸음마다 배로 커져 발산한다. Goyal 외도 워밍업을 쓰고서 약 8k 배치를 넘기면 정확도가 빠르게 나빠졌다고 적는다.
- scheduler.step()은 optimizer.step()보다 먼저 불러도 같다 — PyTorch 1.1.0부터는 먼저 부르면 일정의 첫 값을 건너뛴다. 걸음마다 부르는
StepLR(step_size=50)이면 0.1로 50번 갈 것을 49번만 간다.
학습률 스케줄은 AI에서 어디에 쓰이나
학습 루프에서 학습률 스케줄은 optimizer.step() 뒤의 scheduler.step() 한 줄이다. 스케줄러가 바꿔 둔 lr을 다음 걸음의 식 (1)이 쓴다.
트랜스포머 원 논문은 처음 4,000걸음 동안 학습률을 선형으로 올린 뒤 걸음 수의 제곱근에 반비례해 줄였다(Vaswani 외 2017, 5.3절).
| 이 페이지 | PyTorch (torch.optim.lr_scheduler) |
|---|---|
scheduler.get_last_lr() | |
| 식 (5) 계단 | StepLR(optimizer, step_size=50, gamma=0.1) |
| 식 (6) 지수 | ExponentialLR(optimizer, gamma=0.95) |
| 식 (7) 코사인 | CosineAnnealingLR(optimizer, T_max=100, eta_min=0) |
| 식 (11) 워밍업, | LinearLR(optimizer, start_factor=0.1, total_iters=9) |
| 식 (11) 뒤 남은 90걸음에 식 (7) (그림 3) | SequentialLR(optimizer, [warmup, cosine], milestones=[10]). warmup은 위 행, cosine은 CosineAnnealingLR(optimizer, T_max=90) |
scheduler.step(), optimizer.step() 뒤 |
scheduler.step()은 에포크마다 불러, 배치마다 불러?
대응표의 스케줄러는 어느 쪽으로 불러도 되고, step_size·T_max를 부르는 단위로 센다.
걸음마다 줄이려면 배치 루프 안에서 부르고 T_max를 총 걸음 수로 둔다. 샘플 60,000개를 배치 100으로 10에포크 돌리면 6,000이다.
코드로 확인하기
코드는 식 (3)을 가로·세로에 함께 써서 식 (7)의 코사인 일정의 을 계산한다.
eta 함수를 식 (5)나 식 (6)으로 바꾸면 0.31과 0.27이 나온다.
import numpy as np
curv = np.array([1.0, 10.0]) # 가로·세로 곡률
var_target = np.array([4.0, 1.0]) # 목표 좌표 a, b 의 분산
mean_sq = np.array([-4.4, 1.5]) ** 2 # 출발점의 E[x²], E[y²]
eta0, T = 0.1, 100
def eta(t): # 식 (7) 코사인 감쇠, η_min = 0
return 0.5 * eta0 * (1 + np.cos(np.pi * t / T))
for t in range(T):
c = curv * eta(t)
mean_sq = (1 - c) ** 2 * mean_sq + c ** 2 * var_target # 식 (3), 두 방향
excess = 0.5 * np.sum(curv * mean_sq) # 초과 손실 D_T
print(f"eta_99 = {eta(T - 1):.5f}")
print(f"E[x^2] = {mean_sq[0]:.4f}, E[y^2] = {mean_sq[1]:.4f}")
print(f"D_100 = {excess:.3f}")$ python lr_schedule.py
eta_99 = 0.00002
E[x^2] = 0.0629, E[y^2] = 0.0375
D_100 = 0.219직접 해보기
- 배치 크기 1에서 학습률을 0.02로 고정하면 의 제곱 평균은 어디에 머무나? 0.01일 때의 몇 배인가?
답
식 (4)에 넣으면 이다. 0.01일 때의 과 비교하면 배다. 학습률은 2배인데 분모 가 작아진 만큼 2배보다 조금 크다.
- 식 (7)에서 , , 이면 50걸음째와 100걸음째의 학습률은?
답
이면 이라 다. 가운데에서 와 의 평균을 지난다. 이면 이라 이다.
- 식 (6)으로 100걸음 동안 학습률을 0.1에서 0.001(처음의 1%)로 줄이려면 는 얼마인가?
답
이므로 다. Deep Learning 8.3.1은 선형 감쇠의 끝값을 처음의 1% 정도로 두라고 적는다.
- 식 (9) 대신 을 쓰면 100걸음 뒤 의 평균은 얼마인가? 식 (8)의 두 조건을 지키나?
답
의 평균은 걸음마다 배다. 곱하면 로 앞뒤가 지워진다. 그래서 으로, 식 (9)의 보다 훨씬 0에 가깝다. 합은 조화급수처럼 발산하고 제곱의 합은 유한해 두 조건을 모두 지킨다. 처음 학습률도 0.1로 같다.
- 배치 256에서 학습률 0.1을 쓰다가 배치를 1,024로 키웠다. 식 (12)의 목표 학습률은? 5에포크 동안 0.1에서 그 값까지 일정하게 올리면 2에포크가 끝난 때의 학습률은?
답
라 목표는 0.4다. 한 에포크에 씩 오르니 2에포크 뒤에는 다. Goyal 외는 같은 직선을 이터레이션마다 조금씩 올라간다.
더 읽기
- Deep Learning, 8. Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.3.1. 최솟점에서도 사라지지 않는 SGD 잡음 때문에 학습률을 줄여야 한다는 설명, 식 (8.12)·(8.13)의 충분조건, 선형 감쇠와 끝값 1% 권고. '고정 학습률의 SGD는 바닥에서 얼마나 흔들리나'와 '학습률은 얼마나 빨리 줄여야 하나 — 로빈스·먼로 조건'이 기댄다.
- SGDR: Stochastic Gradient Descent with Warm Restarts — Loshchilov·Hutter, ICLR 2017. 3절 식 (5)가 이 페이지 식 (7)의 코사인 감쇠다. 재시작은 이 페이지에서 다루지 않는다.
- Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — Goyal 외, 2017. 2.1절의 선형 스케일링 규칙과 그 가정·한계(약 8k), 2.2절의 점진적 워밍업. '워밍업은 왜 처음 몇 걸음의 학습률을 낮추나'와 '배치 크기를 r배로 키우면 학습률도 r배로 키우나 — 선형 스케일링 규칙'이 기댄다.
- Don't Decay the Learning Rate, Increase the Batch Size — Smith·Kindermans·Ying·Le, ICLR 2018. 2절의 Robbins·Monro 조건과 학습률·배치 크기로 쓴 잡음 크기, 5.1절의 '학습률을 1/5로 줄이는 것과 배치를 5배로 키우는 것'의 비교. 식 (13)이 같은 방향을 가리킨다.
- Why Warmup the Learning Rate? Underlying Mechanisms and Improvements — Kalra·Barkeshli, NeurIPS 2024. 초록이 워밍업의 주된 이득을 더 큰 목표 학습률을 견디게 하는 데서 찾는다.
- Attention Is All You Need — Vaswani 외, NeurIPS 2017. 5.3절의 4,000걸음 워밍업 뒤 걸음 수의 제곱근에 반비례하는 감쇠.
- torch.optim — How to adjust learning rate — PyTorch 공식 문서, 수시 갱신.
scheduler.step()의 호출 순서 경고와 스케줄러 목록. 대응표와 흔한 오해 둘째 줄이 기댄다.
영상 노트
- 00:00 한 숟가락에서 한 꼬집으로 — 직관
- 00:40 식 (1)·(2)와 그림 1, 고정 0.1에서 ±1을 오가는
- 01:40 식 (3)·(4) 판서,
- 02:40 그림 2의 5.11, 1.57, 0.31
- 03:30 식 (5)~(7)과 표, 그림 3의 네 일정
- 04:40 식 (8)~(10) — 조화급수와 표본평균, 그림 4
- 05:50 식 (11) 워밍업과 곡률 20 가정
- 06:40 식 (12)·(13)과 그림 5의
- 07:40 PyTorch 대응표와 scheduler.step()의 순서
- 08:20 코드랩에서 일정 바꿔 보기
지도에서의 위치
- 2026-11-17 · 에이전트 초안 — 전수 검수에서 분리 제안된 유형 (수식 13, 그림 5)
- 2026-11-17 · 전수 검수 반영 — 미니배치 SGD의 네 샘플 예시로 고정 학습률이 남기는 흔들림의 식, 계단·지수·코사인 감쇠 비교, 로빈스·먼로 조건과 표본평균, 워밍업과 곡률, 선형 스케일링과 배치 크기, PyTorch 대응표·코드랩·해보기 5문항을 씀. 검증 뒤 요약의 배치 크기 1 조건, 흔들림 절 제목, 워밍업 뒤 코사인 길이, 스케줄러 호출 범위를 바로잡음 (에이전트 수정, 그림 0→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림