Adam은 무엇이 다른가 — 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눈다
Adam(아담, adaptive moment estimation)은 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눠 걷는 옵티마이저다. 신경망 학습에 쓰는 'Adam 옵티마이저'가 이것이다. 모멘텀의 평균에 RMSProp의 좌표별 나눗셈을 합친 꼴이다(아래 질문).
식으로는 모멘텀(식 (1))의 속도 대신 그래디언트의 평균 을 쓰고, 그것을 좌표마다 지난 그래디언트 제곱의 평균 의 제곱근으로 나눈다. 처음 몇 걸음의 치우침을 고치는 보정도 붙는다.
식 (1)은 모멘텀 페이지의 식 (2)다.11 그 페이지는 속도를 로 적었다. 이 페이지에서 는 Adam의 2차 모멘트라서 속도를 로 적는다. Adam은 이것을 네 줄로 바꾼다.
지수 이동 평균은 지금까지의 평균을 만큼, 새 값을 만큼 섞어 가는 평균이다(식 (2)·(3)). 모멘트는 통계에서 값의 평균(1차)과 제곱의 평균(2차)을 부르는 이름으로, 모멘텀(운동량)과는 다른 낱말이다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 그래디언트 | gradient | 이번 걸음의 . 과 식 (5)의 제곱근·나눗셈은 성분마다 한다 | |
| 속도 | velocity | 식 (1)의 속도. 지난 그래디언트를 배씩 줄여 더한 합(모멘텀 페이지의 . 그 페이지 유도의 와 다르다) | |
| 1차 모멘트 | first moment | 그래디언트의 지수 이동 평균. . 같은 그래디언트 열에서 면 | |
| 2차 모멘트 | second moment | 그래디언트 제곱의 지수 이동 평균. 이 페이지의 주인공. | |
| 감쇠율 | exponential decay rates | 과 가 지난 값을 얼마나 남기나. | |
| 편향 보정한 모멘트 | bias-corrected moments | 0에서 시작해 작게 치우친 평균을 고친 값. 지수의 은 평균에 넣은 그래디언트의 개수 | |
| 엡실론 | epsilon | 0으로 나누지 않게 분모에 더하는 작은 수 | |
| 유효 학습률 | effective learning rate | 식 (6). 좌표마다 에 곱해지는 배율 |
나머지 기호(, , , , , , , , )는 모멘텀과 경사하강법의 기호표를 따른다. 이 페이지의 Adam은 따로 적지 않으면 PyTorch 기본값 , , 을 쓴다.
편향 보정은 왜 하나 — 없으면 첫 걸음이 3.16배
지수 이동 평균은 걸음 전 그래디언트에 의 가중치를 준다. 0에서 시작하면 지금까지 개의 가중치를 더해도 뿐이라 평균이 작게 치우친다. 식 (4)는 그 합으로 나눠 가중치의 합을 1로 맞춘다.
첫 걸음에서 , 이라, 보정 없이는 좌표마다 걸음이 의 배다. 보정하면 , 이다. 은 천천히 1로 가서(20걸음째에 0.0198), 20걸음째에도 보정이 없으면 같은 , 에서 걸음이 배 길다.
보정을 해도 걸음이 를 넘을 때가 있다. 한 좌표의 그래디언트가 0인 걸음이 1000번 이어진 뒤 처음 들어오면 , 이라 그 걸음은 배의 , 5000번 뒤면 약 다(Kingma·Ba 2.1절이 드는 희소한 경우).
Adam이 모멘텀이랑 뭐가 달라?
모멘텀은 지난 그래디언트를 쌓은 속도만큼 걷고, Adam은 그 평균 을 좌표마다 지난 그래디언트의 크기 로 나눈 만큼 걷는다(식 (5)). 그래서 그래디언트가 한결같으면 모멘텀()의 걸음은 그래디언트의 10배까지 커지지만, Adam의 걸음은 좌표마다 그래디언트의 크기와 상관없이 다. 이 그릇의 첫 걸음은 에서 모멘텀이 로 0.22, 로 0.75, Adam이 둘 다 0.05를 움직인다.
Adam이랑 RMSProp은 뭐가 달라?
RMSProp은 그래디언트를 좌표마다 지난 그래디언트 제곱의 지수 이동 평균(식 (3)의 )의 제곱근으로 나눠 걷는다. Adam은 거기에 둘을 더했다. 그래디언트 대신 그 평균 을 쓰고(식 (2)), 두 평균의 편향을 보정한다(식 (4)). 보정이 없는 RMSProp은 PyTorch 기본값 alpha=0.99에서 첫 걸음이 lr의 배다.
좌표마다 학습률을 따로 두면 무엇이 달라지나
좌표마다 한 걸음의 크기가 그래디언트의 크기(스케일)와 상관없이 대략 학습률 이하로 묶인다. 식 (5)를 한 좌표씩 쓰면, 좌표마다 다른 학습률이 붙은 모멘텀이다. 이렇게 좌표마다 학습률을 맞추는 방법을 적응적 학습률(adaptive learning rate) 방법이라 한다.
, 는 , 의 성분이고(첨자 는 생략), 도 같은 꼴이다.
그릇 의 출발점 에서 다. 식 (3)에서 이고 식 (4)가 이것을 로 나누므로, 보정한 다. 면 , 이다. 같은 식으로 이니 두 좌표 모두 꼭 0.05만큼 움직여 에 선다.
같은 의 경사하강법은 로 0.22, 로 0.75를 움직인다. Adam은 20걸음 내내 두 좌표가 거의 같은 크기로 움직여, 그림 1 왼쪽에서 Adam의 경로만 거의 곧은 선이다.
figures/adam_paths.py의 학습률이 보다 작은 것은 의 그래디언트가 커서다. 둘의 비 는 에 3.41, 에 1.94로 곡률의 비 10과 다르다(그림 2 오른쪽). Adam이 나누는 것은 곡률이 아니라 지금까지 겪은 그래디언트의 크기, 이 그릇에서는 곡률 × 바닥까지 거리이기 때문이다. 경사하강법을 느리게 한 조건수(곡률의 비) 10을 Adam이 그대로 지워 주지는 않는다는 뜻이다.
Adam은 좌표마다 그래디언트를 지난 그래디언트의 크기 로 나눠, 좌표마다 한 걸음의 크기를 그래디언트의 크기(스케일)와 상관없이 대략 학습률 이하로 묶는다.
Adam의 학습률은 그래디언트에 곱하는 배율이 아니라 좌표마다 걸음의 대략적인 상한이다
경사하강법의 는 그래디언트에 곱하는 배율이고, Adam의 는 좌표마다 한 걸음 크기의 대략적인 상한이다. 그래서 같은 에서도 20걸음 뒤 손실이 Adam 7.40, 경사하강법 1.24, 모멘텀() 1.18로 다르다(그림 2 왼쪽).
이 그릇에서 와 0.16으로 걸은 처음 600걸음 동안, Adam의 걸음은 좌표마다 를 넘지 않는다.22 가장 큰 것은 첫 걸음의 이고, 바닥 가까이에서는 훨씬 작아 의 걸음에서 는 만 움직인다. 벡터로 재면 첫 걸음의 길이는 다. 훨씬 오래 걸으면 를 넘는 걸음이 나온다. 은 걸음에서 가 를 움직인다('Adam을 쓸 때 무엇을 조심하나' §).
손실의 크기도 걸음을 바꾸지 않는다. 손실을 10배로 키우면 곡률이 100이 되어 경사하강법 는 로 경계 2를 넘어 발산하지만, Adam()의 경로는 120걸음 내내 안쪽으로 같다.
그러니 Adam의 학습률도 문제마다 고른다. 이 그릇에서 손실이 아래로 내려가 600걸음째까지 머무는 데 가장 빠른 Adam 학습률은 0.16으로 104걸음이 걸린다.33 이 페이지의 ‘머문다’는 600걸음 안에서 다시 위로 오르지 않는다는 뜻이다. 학습률을 0.001부터 2까지 0.001 간격으로 재었다. 경사하강법 은 30걸음이다(그림 2 왼쪽).
figures/adam_loss.pyAdam의 lr 기본값은 왜 1e-3이야?
Adam의 lr(학습률)은 그래디언트에 곱하는 배율이 아니라 좌표마다 한 걸음 크기의 상한에 가까워서, 손실의 크기와 상관없이 하나의 기본값을 둘 수 있다. 1e-3(0.001)은 Kingma·Ba가 실험한 문제들에서 좋았다고 적은 값이다. '각 파라미터를 걸음마다 많아야 0.001쯤 움직인다'는 뜻이라, 바닥까지 4.4를 가야 하는 이 그릇에는 작다. 이 그릇에서 lr = 1e-3이면 20걸음 뒤 이고, 손실이 아래로 내려가기까지 7616걸음이 걸린다.
Adam을 쓸 때 무엇을 조심하나
를 줄이면 바닥 근처에서 출렁일 수 있고(아래 질문), Adam도 수렴하지 않는 문제가 있다.
Adam의 β₁, β₂는 왜 0.9와 0.999야?
Kingma·Ba가 실험한 문제들에서 좋았다고 적은 기본값이고, 뜻은 평균을 내는 길이다. 최근 걸음이 가중치의 63~65%를 차지해서(, ), 은 약 10걸음, 는 약 1000걸음을 평균한다. 가 지난 큰 그래디언트를 오래 기억하면, 그래디언트가 작아질 때 걸음도 작아진다. 이 그릇의 에서 500~2000걸음을 보면, 는 손실이 내내 아래이고 는 과 사이를 오르내린다.
기본값 도 학습률을 고정한 채 훨씬 오래 걸으면 되튈 수 있다. 이 그릇에서 손실이 은 약 6900걸음, 는 약 10260걸음 뒤에 다시 위로 올라 각각 0.10, 0.012에 닿는다(이 두 학습률을 20000걸음까지 걸어 확인한 값이다).
Reddi 외는 Adam이 수렴하지 않는 단순한 볼록 문제를 들고, 대신 지금까지 의 최댓값을 식 (5)의 분모에 쓰는 AMSGrad를 제안했다(PyTorch amsgrad=True).
Adam이랑 AdamW는 뭐가 달라?
Adam과 AdamW는 가중치 감쇠(weight_decay)를 거는 자리가 다르다. Adam은 weight_decay × 를 그래디언트에 더해서, 이 항도 로 나뉜다. AdamW(torch.optim.AdamW)는 이 항을 그래디언트에 넣지 않고, 에 바로 1 − × weight_decay를 곱한다. PyTorch 기본값도 Adam은 weight_decay=0, AdamW는 1e-2로 다르다.
Adam의 흔한 오해
- Adam의 lr은 SGD의 lr과 같은 뜻이라, 쓰던 값을 그대로 옮겨도 된다 — SGD의 걸음은 lr × 그래디언트, Adam의 걸음은 좌표마다 대략 lr 이하라서, 이 그릇의 에서 20걸음 뒤 손실이 1.24 대 7.40이다.
- Adam은 SGD나 모멘텀보다 언제나 빨리 수렴한다 — 이 그릇에서 학습률을 0.001부터 2까지 어떻게 골라도 Adam은 손실이 아래에 머물기까지 104걸음 이상 걸리고, 경사하강법 은 30걸음이다.
- ε은 0으로 나누기만 막을 뿐 결과와 상관없다 — 에 견줄 만큼 크면 학습률을 깎는다. 이 그릇의 에서 이면 첫 걸음의 가 에서 로 줄고, 손실이 아래에 머물기까지 205걸음이 315걸음이 된다.
Adam은 AI에서 어디에 쓰이나
학습 루프(zero_grad() → 손실 계산 → 역전파 backward() → step())에서 Adam도 마지막 step()만 바꾼다. step()은 파라미터마다 , 두 버퍼를 두고 식 (2)~(5)를 계산하므로, 옵티마이저 상태가 파라미터 수의 두 배다.
| 이 페이지 | PyTorch torch.optim.Adam |
|---|---|
lr (기본값 1e-3). 문서는 로 적는다 | |
betas=(0.9, 0.999) (기본값) | |
eps=1e-8 (기본값). 편향 보정한 바깥에 더한다(식 (5)와 같다) | |
optimizer.state[p]["exp_avg"], ["exp_avg_sq"] | |
| 식 (4)의 | optimizer.state[p]["step"] (첫 step()에서 1. 문서는 지수를 로 적는다) |
| 식 (5) | 그 밖의 인자가 기본값일 때의 optimizer.step() |
weight_decay=0 | 기본값. 0보다 크면 에 weight_decay × 를 더해 식 (2)·(3)에 넣는다. AdamW(예정)와의 차이는 'Adam을 쓸 때 무엇을 조심하나' §의 질문 |
amsgrad=False | 기본값. True면 지금까지 의 최댓값으로 를 만든다(Reddi 외의 AMSGrad) |
코드로 확인하기
모멘텀 페이지의 코드에서 버퍼가 , 둘이 된다. 출력의 는 다섯 걸음마다 0.24~0.25씩, 곧 걸음마다 가까이 움직인다.
import numpy as np
def L(p):
x, y = p
return 0.5 * (x**2 + 10 * y**2)
def grad(p):
x, y = p
return np.array([x, 10 * y]) # ∇L = (x, 10y)
theta = np.array([-4.4, 1.5]) # θ₀
eta, beta1, beta2, eps = 0.05, 0.9, 0.999, 1e-8 # η, β₁, β₂, ε
m, v = np.zeros(2), np.zeros(2) # m₋₁ = v₋₁ = 0
for t in range(21):
if t % 5 == 0: print(f"t={t:2d} L={L(theta):.3f} x={theta[0]:.3f} y={theta[1]:.3f}")
g = grad(theta)
m = beta1 * m + (1 - beta1) * g # 식 (2)
v = beta2 * v + (1 - beta2) * g**2 # 식 (3)
m_hat, v_hat = m / (1 - beta1**(t + 1)), v / (1 - beta2**(t + 1)) # 식 (4)
theta = theta - eta * m_hat / (np.sqrt(v_hat) + eps) # 식 (5)$ python adam.py
t= 0 L=20.930 x=-4.400 y=1.500
t= 5 L=16.436 x=-4.150 y=1.251
t=10 L=12.684 x=-3.902 y=1.007
t=15 L=9.685 x=-3.657 y=0.774
t=20 L=7.399 x=-3.415 y=0.560직접 해보기
- 로 둘째 걸음을 손으로 따라가 보자. 에서 , , 는 얼마이고, 둘째 걸음은 의 몇 %인가?
답
다. 이니 이고, 로 나누면 이다. 이니 이고, 로 나눠 제곱근을 취하면 다. 두 성분의 비 가 0.9997, 0.9990이라 이고, 둘째 걸음도 의 99.97%, 99.90%다. 그래디언트가 거의 그대로라서 평균 과 크기 가 거의 같다.
더 읽기
- Adam: A Method for Stochastic Optimization — Kingma·Ba, 2015. ICLR. 알고리즘 1이 식 (2)~(5)이고(학습률을 로 쓰고 걸음을 1부터 센다), 3절이 편향 보정을, 2.1절이 걸음의 크기가 대략 학습률로 묶이고 그래디언트의 크기(스케일)와 무관함을 설명한다. 5절은 RMSProp·AdaGrad와의 관계를 적는다. 기본값 , , , 도 여기서 왔다. 'Adam은 무엇이 다른가' §와 RMSProp 질문, 'Adam의 학습률은 그래디언트에 곱하는 배율이 아니라 좌표마다 걸음의 대략적인 상한이다' §, 편향 보정의 접힌 설명, lr·β 기본값의 두 질문 블록이 기댄다.
- On the Convergence of Adam and Beyond — Reddi·Kale·Kumar, 2018. ICLR. Adam이 수렴하지 않는 단순한 볼록 문제를 들고, 지난 의 최댓값을 분모에 쓰는 AMSGrad를 제안한다. 'Adam을 쓸 때 무엇을 조심하나' §, 대응표의
amsgrad행, 'Adam의 흔한 오해' §가 기댄다. - Deep Learning, 8장 Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.5절이 학습률을 파라미터마다 바꾸는 AdaGrad·RMSProp·Adam을 차례로 설명하고, 8.5.3절이 Adam이다(학습률을 , 이 페이지의 을 , ·를 ·, ·를 ·로 쓴다). 'Adam은 무엇이 다른가' §의 수식이 기댄다.
- torch.optim.Adam — PyTorch 공식 문서, 2.15판에서 확인. 인자 기본값(
lr=1e-3,betas=(0.9, 0.999),eps=1e-8,weight_decay=0,amsgrad=False,decoupled_weight_decay=False)과 갱신 의사코드.decoupled_weight_decay=True면 AdamW와 같다고 적는다.eps를 수치 안정성을 위해 분모에 더하는 항으로 설명해, 그렇게만 읽으면 흔한 오해 셋째가 되기 쉽다. 'Adam은 AI에서 어디에 쓰이나' §의 대응표가 기댄다. - torch.optim.RMSprop — PyTorch 공식 문서, 2.15판에서 확인. 기본값
alpha=0.99와 편향 보정이 없는 갱신 의사코드. 'Adam이랑 RMSProp은 뭐가 달라?' 질문이 기댄다. - torch.optim.AdamW — PyTorch 공식 문서, 2.15판에서 확인. 기본값
weight_decay=1e-2와, 감쇠를 그래디언트에 더하지 않고 에서 바로 빼는 의사코드. 'Adam이랑 AdamW는 뭐가 달라?' 질문이 기댄다.
영상 노트
- 00:00 오프닝 질문 — “Adam이 모멘텀이랑 뭐가 달라?”
- 00:40 식 (1)과 식 (2)~(5)를 나란히 판서 — 평균 , 크기 , 보정
- 02:00 첫 걸음을 손으로 — , 두 좌표 모두 0.05
- 03:10 그림 1 왼쪽 — 거의 곧은 선으로 걷는 Adam, 그림 2 오른쪽의 ,
- 04:20 그림 2 왼쪽 — 같은 에서는 느리다, lr은 좌표마다 걸음의 대략적인 상한
- 05:30 PyTorch
Adam(lr=1e-3, betas=(0.9, 0.999))· 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 6, 그림 2, 코드랩 1)
- 2026-11-04 · 검수 — 더 읽기 URL 4개와 PyTorch 2.15 문서(의사코드·decoupled_weight_decay) 확인, Wikidata Q29410287, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성, 더 읽기에 decoupled_weight_decay 한 줄
- 2026-11-05 · 영어판 번역
- 2026-11-05 · 남은 질문 둘을 미니배치 SGD 페이지(예정, 잡음과 v̂)와 AdamW 페이지(예정, 가중치 감쇠)로 넘김
- 2026-11-05 · 영어판에서도 같은 todo 제거
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-05 · 선수에 지수 이동 평균(예정) 연결
- 2026-11-13 · 미니배치 SGD 페이지 링크 연결 (영어판도)
- 2026-11-13 · 독자 패널 리뷰 반영 — '걸음이 η를 넘지 않는다'를 확인한 600걸음으로 한정, 기본값도 아주 오래 걸으면 되튄다는 사실 추가, 지수 이동 평균·모멘트 정의, RMSProp·AdamW 질문 추가, 머리말과 § 제목에 검색 낱말 (에이전트 수정, 다시 검토 전, 영어판도)