최적화Adam#003

Adam

Adam

Adam(아담)은 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눠 걷는 딥러닝 옵티마이저다. 학습률 0.05의 첫 걸음은 경사하강법이 x로 0.22, y로 0.75, Adam은 둘 다 0.05다. 모멘텀·RMSProp과의 차이, 기본값 1e-3의 뜻을 확인한다.

받은 질문
  • Adam이 뭐야? 모멘텀이랑 뭐가 달라?
주인공 기호
v
읽는 시간
약 9분
선수 개념
모멘텀지수 이동 평균미니배치 SGD

Adam은 무엇이 다른가 — 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눈다

Adam(아담, adaptive moment estimation)은 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눠 걷는 옵티마이저다. 신경망 학습에 쓰는 'Adam 옵티마이저'가 이것이다. 모멘텀의 평균에 RMSProp의 좌표별 나눗셈을 합친 꼴이다(아래 질문).

식으로는 모멘텀(식 (1))의 속도 uu 대신 그래디언트의 평균 mm을 쓰고, 그것을 좌표마다 지난 그래디언트 제곱의 평균 vv의 제곱근으로 나눈다. 처음 몇 걸음의 치우침을 고치는 보정도 붙는다.

ut=β ut−1+∇L(θt),θt+1=θt−η ut(1)u_t = \beta \, u_{t-1} + \nabla L(\theta_t), \qquad \theta_{t+1} = \theta_t - \eta \, u_t \tag{1}

식 (1)은 모멘텀 페이지의 식 (2)다.11 그 페이지는 속도를 vv로 적었다. 이 페이지에서 vv는 Adam의 2차 모멘트라서 속도를 uu로 적는다. Adam은 이것을 네 줄로 바꾼다.

지수 이동 평균은 지금까지의 평균을 β\beta만큼, 새 값을 1−β1 - \beta만큼 섞어 가는 평균이다(식 (2)·(3)). 모멘트는 통계에서 값의 평균(1차)과 제곱의 평균(2차)을 부르는 이름으로, 모멘텀(운동량)과는 다른 낱말이다.

mt=β1 mt−1+(1−β1) gt(2)m_t = \beta_1 \, m_{t-1} + (1 - \beta_1) \, g_t \tag{2} vt=β2 vt−1+(1−β2) gt2(3)v_t = \beta_2 \, v_{t-1} + (1 - \beta_2) \, g_t^2 \tag{3} m^t=mt1−β1 t+1,v^t=vt1−β2 t+1(4)\hat m_t = \frac{m_t}{1 - \beta_1^{\,t+1}}, \qquad \hat v_t = \frac{v_t}{1 - \beta_2^{\,t+1}} \tag{4} θt+1=θt−η m^tv^t+ϵ(5)\theta_{t+1} = \theta_t - \eta \, \frac{\hat m_t}{\sqrt{\hat v_t} + \epsilon} \tag{5}
정의
기호이름원어뜻
gtg_t그래디언트gradient이번 걸음의 ∇L(θt)\nabla L(\theta_t). gt2g_t^2과 식 (5)의 제곱근·나눗셈은 성분마다 한다
utu_t속도velocity식 (1)의 속도. 지난 그래디언트를 β\beta배씩 줄여 더한 합(모멘텀 페이지의 vtv_t. 그 페이지 유도의 utu_t와 다르다)
mtm_t1차 모멘트first moment그래디언트의 지수 이동 평균. m−1=0m_{-1} = 0. 같은 그래디언트 열에서 β1=β\beta_1 = \beta면 mt=(1−β1) utm_t = (1 - \beta_1)\,u_t
vtv_t2차 모멘트second moment그래디언트 제곱의 지수 이동 평균. 이 페이지의 주인공. v−1=0v_{-1} = 0
β1,β2\beta_1, \beta_2감쇠율exponential decay ratesmm과 vv가 지난 값을 얼마나 남기나. 0≤β1,β2<10 \le \beta_1, \beta_2 < 1
m^t,v^t\hat m_t, \hat v_t편향 보정한 모멘트bias-corrected moments0에서 시작해 작게 치우친 평균을 고친 값. 지수의 t+1t+1은 평균에 넣은 그래디언트의 개수
ϵ\epsilon엡실론epsilon0으로 나누지 않게 분모에 더하는 작은 수
ηx,ηy\eta_x, \eta_y유효 학습률effective learning rate식 (6). 좌표마다 m^\hat m에 곱해지는 배율

나머지 기호(θ\theta, η\eta, ∇L\nabla L, β\beta, LL, tt, xx, yy, kk)는 모멘텀과 경사하강법의 기호표를 따른다. 이 페이지의 Adam은 따로 적지 않으면 PyTorch 기본값 β1=0.9\beta_1 = 0.9, β2=0.999\beta_2 = 0.999, ϵ=10−8\epsilon = 10^{-8}을 쓴다.

편향 보정은 왜 하나 — 없으면 첫 걸음이 3.16배

지수 이동 평균은 ss걸음 전 그래디언트에 (1−β)βs(1 - \beta)\beta^s의 가중치를 준다. 0에서 시작하면 지금까지 t+1t + 1개의 가중치를 더해도 1−βt+11 - \beta^{t+1}뿐이라 평균이 작게 치우친다. 식 (4)는 그 합으로 나눠 가중치의 합을 1로 맞춘다.

첫 걸음에서 m0=0.1 g0m_0 = 0.1\,g_0, v0=0.001 g02v_0 = 0.001\,g_0^2이라, 보정 없이는 좌표마다 걸음이 η\eta의 0.1/0.001≈3.160.1/\sqrt{0.001} \approx 3.16배다. 보정하면 m^0=g0\hat m_0 = g_0, v^0=g02\hat v_0 = g_0^2이다. 1−β2 t+11 - \beta_2^{\,t+1}은 천천히 1로 가서(20걸음째에 0.0198), 20걸음째에도 보정이 없으면 같은 mm, vv에서 걸음이 (1−0.920)/1−0.99920≈6.2(1 - 0.9^{20})/\sqrt{1 - 0.999^{20}} \approx 6.2배 길다.

보정을 해도 걸음이 η\eta를 넘을 때가 있다. 한 좌표의 그래디언트가 0인 걸음이 1000번 이어진 뒤 처음 들어오면 mt=0.1 gtm_t = 0.1\,g_t, vt=0.001 gt2v_t = 0.001\,g_t^2이라 그 걸음은 (0.1/0.001)⋅1−0.9991001/(1−0.91001)≈2.52(0.1/\sqrt{0.001}) \cdot \sqrt{1 - 0.999^{1001}}/(1 - 0.9^{1001}) \approx 2.52배의 η\eta, 5000번 뒤면 약 3.15η3.15\eta다(Kingma·Ba 2.1절이 드는 희소한 경우).

Adam이 모멘텀이랑 뭐가 달라?

모멘텀은 지난 그래디언트를 쌓은 속도만큼 걷고, Adam은 그 평균 m^\hat m을 좌표마다 지난 그래디언트의 크기 v^\sqrt{\hat v}로 나눈 만큼 걷는다(식 (5)). 그래서 그래디언트가 한결같으면 모멘텀(β=0.9\beta = 0.9)의 걸음은 η×\eta \times 그래디언트의 10배까지 커지지만, Adam의 걸음은 좌표마다 그래디언트의 크기와 상관없이 η\eta다. 이 그릇의 첫 걸음은 η=0.05\eta = 0.05에서 모멘텀이 xx로 0.22, yy로 0.75, Adam이 둘 다 0.05를 움직인다.

Adam이랑 RMSProp은 뭐가 달라?

RMSProp은 그래디언트를 좌표마다 지난 그래디언트 제곱의 지수 이동 평균(식 (3)의 vv)의 제곱근으로 나눠 걷는다. Adam은 거기에 둘을 더했다. 그래디언트 대신 그 평균 mm을 쓰고(식 (2)), 두 평균의 편향을 보정한다(식 (4)). 보정이 없는 RMSProp은 PyTorch 기본값 alpha=0.99에서 첫 걸음이 lr의 1/1−0.99=101/\sqrt{1 - 0.99} = 10배다.

좌표마다 학습률을 따로 두면 무엇이 달라지나

좌표마다 한 걸음의 크기가 그래디언트의 크기(스케일)와 상관없이 대략 학습률 이하로 묶인다. 식 (5)를 한 좌표씩 쓰면, 좌표마다 다른 학습률이 붙은 모멘텀이다. 이렇게 좌표마다 학습률을 맞추는 방법을 적응적 학습률(adaptive learning rate) 방법이라 한다.

xt+1=xt−ηx m^x,ηx=ηv^x+ϵ(6)x_{t+1} = x_t - \eta_x \, \hat m_x, \qquad \eta_x = \frac{\eta}{\sqrt{\hat v_x} + \epsilon} \tag{6}

m^x\hat m_x, v^x\hat v_x는 m^t\hat m_t, v^t\hat v_t의 xx 성분이고(첨자 tt는 생략), yy도 같은 꼴이다.

그릇 L=12(x2+10y2)L = \tfrac{1}{2}(x^2 + 10y^2)의 출발점 (−4.4, 1.5)(-4.4,\ 1.5)에서 g0=(−4.4, 15)g_0 = (-4.4,\ 15)다. 식 (3)에서 v0=0.001 g02v_0 = 0.001\,g_0^2이고 식 (4)가 이것을 1−0.999=0.0011 - 0.999 = 0.001로 나누므로, 보정한 v^0=g02=(19.36, 225)\hat v_0 = g_0^2 = (19.36,\ 225)다. η=0.05\eta = 0.05면 ηx=η/4.4≈0.0114\eta_x = \eta/4.4 \approx 0.0114, ηy=η/15≈0.0033\eta_y = \eta/15 \approx 0.0033이다. 같은 식으로 m^0=g0\hat m_0 = g_0이니 두 좌표 모두 꼭 0.05만큼 움직여 θ1=(−4.35, 1.45)\theta_1 = (-4.35,\ 1.45)에 선다.

같은 η\eta의 경사하강법은 xx로 0.22, yy로 0.75를 움직인다. Adam은 20걸음 내내 두 좌표가 거의 같은 크기로 움직여, 그림 1 왼쪽에서 Adam의 경로만 거의 곧은 선이다.

L의 등고선 위에서 같은 출발점 (-4.4, 1.5)의 경로. 왼쪽은 같은 학습률 η = 0.05로 20걸음 걸은 경사하강법(β = 0), 모멘텀(β = 0.9), Adam이고, Adam만 거의 곧은 선이다. 오른쪽은 학습률을 따로 고른 경사하강법 η = 0.18과 Adam η = 0.16의 120걸음이다.
그림 1 LL의 등고선 위에서 같은 출발점 (−4.4, 1.5)(-4.4,\ 1.5)의 경로. 왼쪽은 같은 학습률 η=0.05\eta = 0.05로 20걸음 걸은 경사하강법(β=0\beta = 0), 모멘텀(β=0.9\beta = 0.9), Adam이고, Adam만 거의 곧은 선이다. 오른쪽은 학습률을 따로 고른 경사하강법 η=0.18\eta = 0.18과 Adam η=0.16\eta = 0.16의 120걸음이다. figures/adam_paths.py

yy의 학습률이 xx보다 작은 것은 yy의 그래디언트가 커서다. 둘의 비 ηx/ηy\eta_x/\eta_y는 t=0t = 0에 3.41, t=119t = 119에 1.94로 곡률의 비 10과 다르다(그림 2 오른쪽). Adam이 나누는 것은 곡률이 아니라 지금까지 겪은 그래디언트의 크기, 이 그릇에서는 곡률 × 바닥까지 거리이기 때문이다. 경사하강법을 느리게 한 조건수(곡률의 비) 10을 Adam이 그대로 지워 주지는 않는다는 뜻이다.

핵심

Adam은 좌표마다 그래디언트를 지난 그래디언트의 크기 v^\sqrt{\hat v}로 나눠, 좌표마다 한 걸음의 크기를 그래디언트의 크기(스케일)와 상관없이 대략 학습률 η\eta 이하로 묶는다.

Adam의 학습률은 그래디언트에 곱하는 배율이 아니라 좌표마다 걸음의 대략적인 상한이다

경사하강법의 η\eta는 그래디언트에 곱하는 배율이고, Adam의 η\eta는 좌표마다 한 걸음 크기의 대략적인 상한이다. 그래서 같은 η=0.05\eta = 0.05에서도 20걸음 뒤 손실이 Adam 7.40, 경사하강법 1.24, 모멘텀(β=0.9\beta = 0.9) 1.18로 다르다(그림 2 왼쪽).

이 그릇에서 η=0.05\eta = 0.05와 0.16으로 걸은 처음 600걸음 동안, Adam의 걸음은 좌표마다 η\eta를 넘지 않는다.22 가장 큰 것은 첫 걸음의 η\eta이고, 바닥 가까이에서는 훨씬 작아 η=0.05\eta = 0.05의 t=50t = 50 걸음에서 yy는 0.044η0.044\eta만 움직인다. 벡터로 재면 첫 걸음의 길이는 2 η\sqrt{2}\,\eta다. 훨씬 오래 걸으면 η\eta를 넘는 걸음이 나온다. η=0.16\eta = 0.16은 t=6898t = 6898 걸음에서 yy가 1.46η1.46\eta를 움직인다('Adam을 쓸 때 무엇을 조심하나' §).

손실의 크기도 걸음을 바꾸지 않는다. 손실을 10배로 키우면 yy 곡률이 100이 되어 경사하강법 η=0.05\eta = 0.05는 ηk=5\eta k = 5로 경계 2를 넘어 발산하지만, Adam(η=0.05\eta = 0.05)의 경로는 120걸음 내내 10−810^{-8} 안쪽으로 같다.

그러니 Adam의 학습률도 문제마다 고른다. 이 그릇에서 손실이 10−410^{-4} 아래로 내려가 600걸음째까지 머무는 데 가장 빠른 Adam 학습률은 0.16으로 104걸음이 걸린다.33 이 페이지의 ‘머문다’는 600걸음 안에서 다시 10−410^{-4} 위로 오르지 않는다는 뜻이다. 학습률을 0.001부터 2까지 0.001 간격으로 재었다. 경사하강법 η=0.18\eta = 0.18은 30걸음이다(그림 2 왼쪽).

왼쪽은 걸음 t에 따른 손실 L(로그 눈금)이고, 가로선은 10^-4, 점은 손실이 그 아래에 머물기 시작하는 걸음이다(600걸음까지 본 것). 오른쪽은 Adam η = 0.05의 유효 학습률 η_x, η_y(식 (6))로, 둘 다 0.05보다 작고 비 η_x/η_y는 t = 0에 3.41, t = 119에 1.94다.
그림 2 왼쪽은 걸음 tt에 따른 손실 LL(로그 눈금)이고, 가로선은 10−410^{-4}, 점은 손실이 그 아래에 머물기 시작하는 걸음이다(600걸음까지 본 것). 오른쪽은 Adam η=0.05\eta = 0.05의 유효 학습률 ηx\eta_x, ηy\eta_y(식 (6))로, 둘 다 0.05보다 작고 비 ηx/ηy\eta_x/\eta_y는 t=0t = 0에 3.41, t=119t = 119에 1.94다. figures/adam_loss.py

Adam의 lr 기본값은 왜 1e-3이야?

Adam의 lr(학습률)은 그래디언트에 곱하는 배율이 아니라 좌표마다 한 걸음 크기의 상한에 가까워서, 손실의 크기와 상관없이 하나의 기본값을 둘 수 있다. 1e-3(0.001)은 Kingma·Ba가 실험한 문제들에서 좋았다고 적은 값이다. '각 파라미터를 걸음마다 많아야 0.001쯤 움직인다'는 뜻이라, 바닥까지 4.4를 가야 하는 이 그릇에는 작다. 이 그릇에서 lr = 1e-3이면 20걸음 뒤 (−4.380, 1.480)(-4.380,\ 1.480)이고, 손실이 10−410^{-4} 아래로 내려가기까지 7616걸음이 걸린다.

Adam을 쓸 때 무엇을 조심하나

β2\beta_2를 줄이면 바닥 근처에서 출렁일 수 있고(아래 질문), Adam도 수렴하지 않는 문제가 있다.

Adam의 β₁, β₂는 왜 0.9와 0.999야?

Kingma·Ba가 실험한 문제들에서 좋았다고 적은 기본값이고, 뜻은 평균을 내는 길이다. 최근 1/(1−β)1/(1 - \beta)걸음이 가중치의 63~65%를 차지해서(1−0.910=65%1 - 0.9^{10} = 65\%, 1−0.9991000=63%1 - 0.999^{1000} = 63\%), mm은 약 10걸음, vv는 약 1000걸음을 평균한다. vv가 지난 큰 그래디언트를 오래 기억하면, 그래디언트가 작아질 때 걸음도 작아진다. 이 그릇의 η=0.05\eta = 0.05에서 500~2000걸음을 보면, β2=0.999\beta_2 = 0.999는 손실이 내내 10−1810^{-18} 아래이고 β2=0.9\beta_2 = 0.9는 10−810^{-8}과 2.5×10−52.5 \times 10^{-5} 사이를 오르내린다.

기본값 β2=0.999\beta_2 = 0.999도 학습률을 고정한 채 훨씬 오래 걸으면 되튈 수 있다. 이 그릇에서 손실이 η=0.16\eta = 0.16은 약 6900걸음, η=0.05\eta = 0.05는 약 10260걸음 뒤에 다시 10−410^{-4} 위로 올라 각각 0.10, 0.012에 닿는다(이 두 학습률을 20000걸음까지 걸어 확인한 값이다).

Reddi 외는 Adam이 수렴하지 않는 단순한 볼록 문제를 들고, vv 대신 지금까지 vv의 최댓값을 식 (5)의 분모에 쓰는 AMSGrad를 제안했다(PyTorch amsgrad=True).

Adam이랑 AdamW는 뭐가 달라?

Adam과 AdamW는 가중치 감쇠(weight_decay)를 거는 자리가 다르다. Adam은 weight_decay × θ\theta를 그래디언트에 더해서, 이 항도 v^\sqrt{\hat v}로 나뉜다. AdamW(torch.optim.AdamW)는 이 항을 그래디언트에 넣지 않고, θ\theta에 바로 1 − η\eta × weight_decay를 곱한다. PyTorch 기본값도 Adam은 weight_decay=0, AdamW는 1e-2로 다르다.

Adam의 흔한 오해

  • Adam의 lr은 SGD의 lr과 같은 뜻이라, 쓰던 값을 그대로 옮겨도 된다 — SGD의 걸음은 lr × 그래디언트, Adam의 걸음은 좌표마다 대략 lr 이하라서, 이 그릇의 η=0.05\eta = 0.05에서 20걸음 뒤 손실이 1.24 대 7.40이다.
  • Adam은 SGD나 모멘텀보다 언제나 빨리 수렴한다 — 이 그릇에서 학습률을 0.001부터 2까지 어떻게 골라도 Adam은 손실이 10−410^{-4} 아래에 머물기까지 104걸음 이상 걸리고, 경사하강법 η=0.18\eta = 0.18은 30걸음이다.
  • ε은 0으로 나누기만 막을 뿐 결과와 상관없다 — v^\sqrt{\hat v}에 견줄 만큼 크면 학습률을 깎는다. 이 그릇의 η=0.05\eta = 0.05에서 ϵ=1\epsilon = 1이면 첫 걸음의 ηx\eta_x가 η/4.4\eta/4.4에서 η/5.4\eta/5.4로 줄고, 손실이 10−410^{-4} 아래에 머물기까지 205걸음이 315걸음이 된다.

Adam은 AI에서 어디에 쓰이나

학습 루프(zero_grad() → 손실 계산 → 역전파 backward() → step())에서 Adam도 마지막 step()만 바꾼다. step()은 파라미터마다 mm, vv 두 버퍼를 두고 식 (2)~(5)를 계산하므로, 옵티마이저 상태가 파라미터 수의 두 배다.

이 페이지PyTorch torch.optim.Adam
η\etalr (기본값 1e-3). 문서는 γ\gamma로 적는다
β1,β2\beta_1, \beta_2betas=(0.9, 0.999) (기본값)
ϵ\epsiloneps=1e-8 (기본값). 편향 보정한 v^t\sqrt{\hat v_t} 바깥에 더한다(식 (5)와 같다)
mt,vtm_t, v_toptimizer.state[p]["exp_avg"], ["exp_avg_sq"]
식 (4)의 t+1t + 1optimizer.state[p]["step"] (첫 step()에서 1. 문서는 지수를 tt로 적는다)
식 (5)그 밖의 인자가 기본값일 때의 optimizer.step()
weight_decay=0기본값. 0보다 크면 gtg_t에 weight_decay × θt\theta_t를 더해 식 (2)·(3)에 넣는다. AdamW(예정)와의 차이는 'Adam을 쓸 때 무엇을 조심하나' §의 질문
amsgrad=False기본값. True면 지금까지 vtv_t의 최댓값으로 v^t\hat v_t를 만든다(Reddi 외의 AMSGrad)

코드로 확인하기

모멘텀 페이지의 코드에서 버퍼가 mm, vv 둘이 된다. 출력의 xx는 다섯 걸음마다 0.24~0.25씩, 곧 걸음마다 η\eta 가까이 움직인다.

수식
mt=β1 mt−1+(1−β1) gt(2)m_t = \sym{beta1}{\beta_1} \, m_{t-1} + (1 - \sym{beta1}{\beta_1}) \, g_t \tag{2}vt=β2 vt−1+(1−β2) gt2(3)v_t = \sym{beta2}{\beta_2} \, v_{t-1} + (1 - \sym{beta2}{\beta_2}) \, g_t^2 \tag{3}θt+1=θt−η m^tv^t+ϵ(5)\sym{theta}{\theta}_{t+1} = \sym{theta}{\theta}_t - \sym{eta}{\eta} \, \frac{\sym{m_hat}{\hat m}_t}{\sqrt{\sym{v_hat}{\hat v}_t} + \sym{eps}{\epsilon}} \tag{5}
코드 figures/adam.py
import numpy as np

def L(p):
    x, y = p
    return 0.5 * (x**2 + 10 * y**2)

def grad(p):
    x, y = p
    return np.array([x, 10 * y])    # ∇L = (x, 10y)

theta = np.array([-4.4, 1.5])       # θ₀
eta, beta1, beta2, eps = 0.05, 0.9, 0.999, 1e-8   # η, β₁, β₂, ε
m, v = np.zeros(2), np.zeros(2)     # m₋₁ = v₋₁ = 0
for t in range(21):
    if t % 5 == 0: print(f"t={t:2d}  L={L(theta):.3f}  x={theta[0]:.3f}  y={theta[1]:.3f}")
    g = grad(theta)
    m = beta1 * m + (1 - beta1) * g                          # 식 (2)
    v = beta2 * v + (1 - beta2) * g**2                       # 식 (3)
    m_hat, v_hat = m / (1 - beta1**(t + 1)), v / (1 - beta2**(t + 1))   # 식 (4)
    theta = theta - eta * m_hat / (np.sqrt(v_hat) + eps)     # 식 (5)
$ python adam.py
t= 0  L=20.930  x=-4.400  y=1.500
t= 5  L=16.436  x=-4.150  y=1.251
t=10  L=12.684  x=-3.902  y=1.007
t=15  L=9.685  x=-3.657  y=0.774
t=20  L=7.399  x=-3.415  y=0.560

직접 해보기

  1. η=0.05\eta = 0.05로 둘째 걸음을 손으로 따라가 보자. θ1=(−4.35, 1.45)\theta_1 = (-4.35,\ 1.45)에서 m^1\hat m_1, v^1\sqrt{\hat v_1}, θ2\theta_2는 얼마이고, 둘째 걸음은 η\eta의 몇 %인가?
답

g1=(−4.35, 14.5)g_1 = (-4.35,\ 14.5)다. m0=0.1 g0=(−0.44, 1.5)m_0 = 0.1\,g_0 = (-0.44,\ 1.5)이니 m1=0.9 m0+0.1 g1=(−0.831, 2.8)m_1 = 0.9\,m_0 + 0.1\,g_1 = (-0.831,\ 2.8)이고, 1−0.92=0.191 - 0.9^2 = 0.19로 나누면 m^1≈(−4.3737, 14.7368)\hat m_1 \approx (-4.3737,\ 14.7368)이다. v0=0.001 g02=(0.01936, 0.225)v_0 = 0.001\,g_0^2 = (0.01936,\ 0.225)이니 v1=0.999 v0+0.001 g12≈(0.038263, 0.435025)v_1 = 0.999\,v_0 + 0.001\,g_1^2 \approx (0.038263,\ 0.435025)이고, 1−0.9992=0.0019991 - 0.999^2 = 0.001999로 나눠 제곱근을 취하면 v^1≈(4.3751, 14.7520)\sqrt{\hat v_1} \approx (4.3751,\ 14.7520)다. 두 성분의 비 ∣m^1∣/v^1\lvert \hat m_1 \rvert / \sqrt{\hat v_1}가 0.9997, 0.9990이라 θ2≈(−4.300, 1.400)\theta_2 \approx (-4.300,\ 1.400)이고, 둘째 걸음도 η\eta의 99.97%, 99.90%다. 그래디언트가 거의 그대로라서 평균 m^\hat m과 크기 v^\sqrt{\hat v}가 거의 같다.

더 읽기

  • Adam: A Method for Stochastic Optimization — Kingma·Ba, 2015. ICLR. 알고리즘 1이 식 (2)~(5)이고(학습률을 α\alpha로 쓰고 걸음을 1부터 센다), 3절이 편향 보정을, 2.1절이 걸음의 크기가 대략 학습률로 묶이고 그래디언트의 크기(스케일)와 무관함을 설명한다. 5절은 RMSProp·AdaGrad와의 관계를 적는다. 기본값 α=0.001\alpha = 0.001, β1=0.9\beta_1 = 0.9, β2=0.999\beta_2 = 0.999, ϵ=10−8\epsilon = 10^{-8}도 여기서 왔다. 'Adam은 무엇이 다른가' §와 RMSProp 질문, 'Adam의 학습률은 그래디언트에 곱하는 배율이 아니라 좌표마다 걸음의 대략적인 상한이다' §, 편향 보정의 접힌 설명, lr·β 기본값의 두 질문 블록이 기댄다.
  • On the Convergence of Adam and Beyond — Reddi·Kale·Kumar, 2018. ICLR. Adam이 수렴하지 않는 단순한 볼록 문제를 들고, 지난 vv의 최댓값을 분모에 쓰는 AMSGrad를 제안한다. 'Adam을 쓸 때 무엇을 조심하나' §, 대응표의 amsgrad 행, 'Adam의 흔한 오해' §가 기댄다.
  • Deep Learning, 8장 Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.5절이 학습률을 파라미터마다 바꾸는 AdaGrad·RMSProp·Adam을 차례로 설명하고, 8.5.3절이 Adam이다(학습률을 ε\varepsilon, 이 페이지의 ϵ\epsilon을 δ\delta, mm·vv를 ss·rr, β1\beta_1·β2\beta_2를 ρ1\rho_1·ρ2\rho_2로 쓴다). 'Adam은 무엇이 다른가' §의 수식이 기댄다.
  • torch.optim.Adam — PyTorch 공식 문서, 2.15판에서 확인. 인자 기본값(lr=1e-3, betas=(0.9, 0.999), eps=1e-8, weight_decay=0, amsgrad=False, decoupled_weight_decay=False)과 갱신 의사코드. decoupled_weight_decay=True면 AdamW와 같다고 적는다. eps를 수치 안정성을 위해 분모에 더하는 항으로 설명해, 그렇게만 읽으면 흔한 오해 셋째가 되기 쉽다. 'Adam은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
  • torch.optim.RMSprop — PyTorch 공식 문서, 2.15판에서 확인. 기본값 alpha=0.99와 편향 보정이 없는 갱신 의사코드. 'Adam이랑 RMSProp은 뭐가 달라?' 질문이 기댄다.
  • torch.optim.AdamW — PyTorch 공식 문서, 2.15판에서 확인. 기본값 weight_decay=1e-2와, 감쇠를 그래디언트에 더하지 않고 θ\theta에서 바로 빼는 의사코드. 'Adam이랑 AdamW는 뭐가 달라?' 질문이 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — “Adam이 모멘텀이랑 뭐가 달라?”
  • 00:40 식 (1)과 식 (2)~(5)를 나란히 판서 — 평균 mm, 크기 vv, 보정
  • 02:00 첫 걸음을 손으로 — v^0=(19.36, 225)\hat v_0 = (19.36,\ 225), 두 좌표 모두 0.05
  • 03:10 그림 1 왼쪽 — 거의 곧은 선으로 걷는 Adam, 그림 2 오른쪽의 ηx\eta_x, ηy\eta_y
  • 04:20 그림 2 왼쪽 — 같은 η\eta에서는 느리다, lr은 좌표마다 걸음의 대략적인 상한
  • 05:30 PyTorch Adam(lr=1e-3, betas=(0.9, 0.999)) · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

경사하강법최적화급수미적분시그마 (수열의 합)미적분역전파AI모멘텀기법 · 최적화지수 이동 평균예정미니배치 SGD최적화Adam지금 이 페이지AdamW기법 · 예정
선수 개념
이 페이지
다음 개념
완성예정기법이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 6, 그림 2, 코드랩 1)
  2. 2026-11-04 · 검수 — 더 읽기 URL 4개와 PyTorch 2.15 문서(의사코드·decoupled_weight_decay) 확인, Wikidata Q29410287, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성, 더 읽기에 decoupled_weight_decay 한 줄
  3. 2026-11-05 · 영어판 번역
  4. 2026-11-05 · 남은 질문 둘을 미니배치 SGD 페이지(예정, 잡음과 v̂)와 AdamW 페이지(예정, 가중치 감쇠)로 넘김
  5. 2026-11-05 · 영어판에서도 같은 todo 제거
  6. 2026-11-05 · 직접 검토 — 완성으로 올림
  7. 2026-11-05 · 선수에 지수 이동 평균(예정) 연결
  8. 2026-11-13 · 미니배치 SGD 페이지 링크 연결 (영어판도)
  9. 2026-11-13 · 독자 패널 리뷰 반영 — '걸음이 η를 넘지 않는다'를 확인한 600걸음으로 한정, 기본값도 아주 오래 걸으면 되튄다는 사실 추가, 지수 이동 평균·모멘트 정의, RMSProp·AdamW 질문 추가, 머리말과 § 제목에 검색 낱말 (에이전트 수정, 다시 검토 전, 영어판도)