최적화모멘텀#002

모멘텀

Momentum

모멘텀(momentum)은 지난 그래디언트를 β배씩 줄여 쌓은 속도(관성)만큼 걷는 딥러닝 옵티마이저다. 학습률 0.05로 20걸음 뒤 손실은 모멘텀 없이 1.24, β = 0.5면 0.106이다. β = 0.9가 이 예시에서는 느린데도 흔히 쓰이는 까닭을 조건수로 확인한다.

받은 질문
  • 모멘텀이 뭐야? SGD랑 뭐가 달라?
주인공 기호
β
읽는 시간
약 9분
선수 개념
경사하강법급수미니배치 SGD

모멘텀은 무엇이 다른가 — 그래디언트 대신 속도만큼 걷는다

모멘텀(momentum)은 지금 그래디언트 대신, 지난 그래디언트를 쌓은 속도만큼 걷는 경사하강법의 변형이다. 모멘텀 옵티마이저, SGD 모멘텀이라고도 부르고, 신경망 학습에서는 PyTorch torch.optim.SGD의 momentum 인자로 켠다. 경사하강법은 방향마다 휘어짐이 다를수록(조건수가 클수록) 느렸다. 모멘텀은 덜 휘어진 방향의 걸음을 키워 그 느림을 줄인다.

식 (1)의 그래디언트 ∇L\nabla L 자리에 속도 vv가 들어간다. 속도는 지난 속도의 β\beta배에 이번 그래디언트를 더한 것이다.

θt+1=θt−η ∇L(θt)(1)\theta_{t+1} = \theta_t - \eta \, \nabla L(\theta_t) \tag{1} vt=β vt−1+∇L(θt),θt+1=θt−η vt(2)v_t = \beta \, v_{t-1} + \nabla L(\theta_t), \qquad \theta_{t+1} = \theta_t - \eta \, v_t \tag{2}
정의
기호이름원어뜻
β\beta모멘텀 계수momentum coefficient지난 속도를 얼마나 남기나. 0≤β<10 \le \beta < 1. 이 페이지의 주인공. β=0\beta = 0이면 식 (2)가 식 (1)이 된다. 문헌에 따라 μ\mu(Sutskever 외, PyTorch 문서)나 α\alpha(Goodfellow 외)로 쓴다
vtv_t속도velocitytt번째 걸음에서 실제로 내딛는 방향. 걷기 전에는 v−1=0v_{-1} = 0

나머지 기호(θ\theta, η\eta, ∇L\nabla L, LL, tt, xx, yy, 곡률 kk)는 경사하강법의 기호표를 따른다.

이름은 비탈을 굴러 내려가는 무거운 공의 운동량(momentum)에서 왔다. 가던 쪽으로 계속 가려는 성질이라 '관성'이라고도 부른다. 마찰 때문에 공은 매 걸음 속도의 1−β1 - \beta를 잃고 β\beta만큼을 지닌 채, 비탈이 미는 힘을 더 받는다. vv는 그 속도를 오르막 쪽(∇L\nabla L 쪽)으로 잰 것이라, 식 (2)는 θ\theta에서 ηv\eta v를 뺀다.

식 (2)를 한 줄씩 거슬러 풀면, 속도는 지난 그래디언트를 한 걸음 멀어질 때마다 β\beta배씩 줄여 더한 합이다.

vt=∇L(θt)+β ∇L(θt−1)+β2 ∇L(θt−2)+⋯+βt ∇L(θ0)(3)v_t = \nabla L(\theta_t) + \beta \, \nabla L(\theta_{t-1}) + \beta^2 \, \nabla L(\theta_{t-2}) + \cdots + \beta^t \, \nabla L(\theta_0) \tag{3}

그래디언트가 매번 같다면 식 (3)은 그 그래디언트의 1+β+β2+⋯1 + \beta + \beta^2 + \cdots배, 곧 등비급수의 합 1/(1−β)1/(1-\beta)배에 다가간다. 한 걸음이 η×\eta \times 그래디언트의 β=0.5\beta = 0.5면 2배, β=0.9\beta = 0.9면 10배까지 커진다.11 이 페이지는 미니배치가 아니라 전체 그래디언트로 계산한다.

β가 알맞으면 모멘텀은 왜 경사하강법보다 빨리 내려가나

β\beta가 알맞으면, 덜 휘어진 xx 방향은 그래디언트의 부호가 이어지는 동안 속도가 쌓여 걸음이 커지기 때문이다. 같은 그릇·출발점·η=0.05\eta = 0.05에서 20걸음 뒤 손실은 경사하강법(β=0\beta = 0)이 1.24, β=0.5\beta = 0.5가 0.106이다(그림 2). '알맞다'의 범위는 길게 보아 0<β<0.90250 < \beta < 0.9025이고, 다음 §에서 유도한다.

그릇은 경사하강법 페이지의 L=12(x2+10y2)L = \tfrac{1}{2}(x^2 + 10y^2)이고 그래디언트는 ∇L=(x, 10y)\nabla L = (x,\ 10y), 출발점은 (−4.4, 1.5)(-4.4,\ 1.5)다. 그림 1은 η\eta를 0.05에 고정하고 β\beta만 바꾼 세 경로다.

L의 등고선 위에서 같은 출발점 (-4.4, 1.5), 같은 학습률 η = 0.05로 β만 바꿔 20걸음 걸은 경로. β = 0은 경사하강법과 같은 경로다. 0.5는 둘째 걸음부터 매 걸음 x 방향으로 경사하강법보다 앞서고, y 방향으로는 바닥을 지나쳐 오간다. 0.9는 x > 0 쪽(가장 멀리 x = 2.10)까지 지나쳤다가 돌아온다.
그림 1 LL의 등고선 위에서 같은 출발점 (−4.4, 1.5)(-4.4,\ 1.5), 같은 학습률 η=0.05\eta = 0.05로 β\beta만 바꿔 20걸음 걸은 경로. β=0\beta = 0은 경사하강법과 같은 경로다. 0.50.5는 둘째 걸음부터 매 걸음 xx 방향으로 경사하강법보다 앞서고, yy 방향으로는 바닥을 지나쳐 오간다. 0.90.9는 x>0x > 0 쪽(가장 멀리 x=2.10x = 2.10)까지 지나쳤다가 돌아온다. figures/momentum_paths.py

β=0.5\beta = 0.5로 두 걸음을 손으로 따라가 보자. 첫 걸음은 v0=∇L(θ0)=(−4.4, 15)v_0 = \nabla L(\theta_0) = (-4.4,\ 15)라서 경사하강법과 같은 θ1=(−4.18, 0.75)\theta_1 = (-4.18,\ 0.75)에 선다. 둘째 걸음의 그래디언트는 ∇L(θ1)=(−4.18, 7.5)\nabla L(\theta_1) = (-4.18,\ 7.5)이고, 속도는 v1=0.5×(−4.4, 15)+(−4.18, 7.5)=(−6.38, 15)v_1 = 0.5 \times (-4.4,\ 15) + (-4.18,\ 7.5) = (-6.38,\ 15)다. 그래서 θ2=θ1−0.05 v1=(−3.861, 0)\theta_2 = \theta_1 - 0.05\, v_1 = (-3.861,\ 0)이다.

경사하강법의 θ2=(−3.971, 0.375)\theta_2 = (-3.971,\ 0.375)와 비교하면, xx가 0.429 대신 0.539만큼 나아갔다. β=0.5\beta = 0.5에서는 20걸음 내내 x<0x < 0이라 그래디언트의 xx 성분(xx 자신)도 부호가 바뀌지 않는다. 그래서 둘째부터 스무째 걸음까지(v1v_1~v19v_{19}) 속도의 xx 성분은 절댓값이 그래디언트의 xx 성분보다 크다.

대신 yy는 남은 속도 때문에 바닥을 지나친다. θ2\theta_2에서 y=0y = 0이지만 v2v_2의 yy 성분이 0.5×15+0=7.50.5 \times 15 + 0 = 7.5라서, y3=0−0.05×7.5=−0.375y_3 = 0 - 0.05 \times 7.5 = -0.375가 된다. 그림 1의 β=0.5\beta = 0.5 경로가 yy로 오가는 까닭이다.

SGD랑 모멘텀 차이가 뭐야?

차이는 한 걸음에 쓰는 양이다. 모멘텀 없는 SGD는 지금 그래디언트만큼 걷고, 모멘텀은 지난 그래디언트를 β\beta배씩 줄여 쌓은 속도만큼 걷는다(식 (2)). 같은 그릇·η=0.05\eta = 0.05에서 20걸음 뒤 손실은 SGD 1.24, 모멘텀 β=0.5\beta = 0.5 0.106이다. 미니배치(확률적)인지는 둘이 같고, PyTorch에서는 torch.optim.SGD의 momentum 인자 하나가 다르다.

β를 너무 키우면 왜 다시 느려지나

속도가 너무 오래 남아서, 바닥을 지나친 뒤에도 같은 쪽으로 한참 더 가기 때문이다. η=0.05\eta = 0.05에서 β=0.9\beta = 0.9는 6걸음에 손실 0.606까지 내려갔다가 8걸음에 5.34로 다시 오른다(그림 2 왼쪽).

β=0.9\beta = 0.9는 11걸음부터 매 걸음 β=0.5\beta = 0.5보다 손실이 크고, 20걸음 뒤 1.18은 경사하강법의 1.24와 비슷하다.22 오르내리는 곡선의 한 점이라, 한 걸음 전인 19걸음에서는 0.490으로 경사하강법의 1.378보다 작다. 그래서 빠르기는 아래의 점근 인자로 비교한다. 그림 2 오른쪽은 이 값을 β\beta마다 잰 것이다.

같은 학습률 η = 0.05에서 걸음 t에 따른 손실 L(왼쪽)과, 20걸음 뒤 손실 L_20을 β에 따라 그린 것(오른쪽, 둘 다 로그 눈금). 왼쪽의 β = 0.5는 손실이 걸음마다 줄고 0.9는 오르내린다. 오른쪽 점선은 경사하강법(β = 0)의 1.24다. 0 < β ≤ 0.9에서는 그보다 작고 0.91 ≤ β ≤ 0.95에서는 크며, 가장 작은 곳은 β ≈ 0.65의 약 0.002다.
그림 2 같은 학습률 η=0.05\eta = 0.05에서 걸음 tt에 따른 손실 LL(왼쪽)과, 20걸음 뒤 손실 L20L_{20}을 β\beta에 따라 그린 것(오른쪽, 둘 다 로그 눈금). 왼쪽의 β=0.5\beta = 0.5는 손실이 걸음마다 줄고 0.90.9는 오르내린다. 오른쪽 점선은 경사하강법(β=0\beta = 0)의 1.24다. 0<β≤0.90 < \beta \le 0.9에서는 그보다 작고 0.91≤β≤0.950.91 \le \beta \le 0.95에서는 크며, 가장 작은 곳은 β≈0.65\beta \approx 0.65의 약 0.002다. figures/momentum_loss.py

2차 그릇에서 η\eta와 β\beta를 고정하면, 좌표에 걸음마다 곱해지는 인자는 길게 평균해 β\sqrt{\beta} 아래로 내려가지 못한다(그 방향 성분이 0이 아닐 때). 이 긴 평균을 점근 인자라 부른다. 한 방향의 움직임은 두 인자가 섞인 것이고 둘의 곱이 β\beta라서, 느린 쪽은 β\sqrt{\beta}보다 작아질 수 없다(아래 유도).

β=0.9\beta = 0.9면 0.9≈0.949\sqrt{0.9} \approx 0.949다. 좌표의 크기는 길게 평균하면 한 걸음에 약 5.1%보다 빨리 줄지 못하고, 손실로는 1−0.9=10%1 - 0.9 = 10\%다. 걸음 하나하나는 이 값에 묶이지 않는다. 그림 2 왼쪽처럼 출렁여서, 5걸음에서 6걸음 사이에는 손실이 4.75에서 0.606으로 87% 줄고, 다음 두 걸음에는 다시 는다.

이 0.949는 경사하강법 η=0.05\eta = 0.05의 xx 인자 1−0.05=0.951 - 0.05 = 0.95와 거의 같고, β=0.5\beta = 0.5의 느린 쪽 인자 0.885(아래 유도)보다 크다. 그래서 길게 보면 β=0.5\beta = 0.5에 뒤처지고, β>0.952=0.9025\beta > 0.95^2 = 0.9025면 경사하강법보다도 느려진다.

왜 √β인가 — 한 방향에서 식 (2)를 풀면

kk는 그 방향의 곡률(경사하강법 페이지의 기호), utu_t는 그 방향의 좌표(이 그릇에서는 xx나 yy), rr는 아래 2차 방정식의 근이다.

식 (2)의 오른쪽 식에서 η vt−1=θt−1−θt\eta\, v_{t-1} = \theta_{t-1} - \theta_t다(t=0t = 0에서는 v−1=0v_{-1} = 0이니 θ−1=θ0\theta_{-1} = \theta_0으로 둔다). 이것을 θt+1=θt−η ∇L(θt)−β η vt−1\theta_{t+1} = \theta_t - \eta\,\nabla L(\theta_t) - \beta\,\eta\, v_{t-1}에 넣으면 vv가 사라진다.

θt+1=θt−η ∇L(θt)+β (θt−θt−1)\theta_{t+1} = \theta_t - \eta\,\nabla L(\theta_t) + \beta\,(\theta_t - \theta_{t-1})

식 (1)에 지난 걸음의 β\beta배를 더한 꼴이다. 곡률 kk인 방향(그래디언트 kuk u)에서는 ut+1=(1+β−ηk) ut−β ut−1u_{t+1} = (1 + \beta - \eta k)\,u_t - \beta\,u_{t-1}이다.

ut=rtu_t = r^t를 넣으면 r2−(1+β−ηk) r+β=0r^2 - (1 + \beta - \eta k)\,r + \beta = 0이다. 두 근의 곱이 β\beta라서 큰 쪽의 절댓값은 β\sqrt{\beta} 이상이다. 근이 복소수일 조건은 (1+β−ηk)2<4β(1 + \beta - \eta k)^2 < 4\beta이고, 그때는 둘 다 절댓값이 정확히 β\sqrt{\beta}다.

η=0.05\eta = 0.05, β=0.5\beta = 0.5의 xx 방향(k=1k = 1)은 r2−1.45 r+0.5=0r^2 - 1.45\,r + 0.5 = 0이라 큰 근이 (1.45+1.452−2)/2≈0.885(1.45 + \sqrt{1.45^2 - 2})/2 \approx 0.885다. 경사하강법의 0.95보다 작다. yy 방향(k=10k = 10)은 r2−r+0.5=0r^2 - r + 0.5 = 0의 복소근이라 0.5≈0.707\sqrt{0.5} \approx 0.707이다.

η=0.05\eta = 0.05의 xx 방향은 (0.95+β)2<4β(0.95 + \beta)^2 < 4\beta, 곧 β\beta가 약 0.603을 넘으면 복소근이다. yy 방향은 그보다 작은 β\beta에서 이미 복소근이라, 그 뒤로는 두 방향 인자가 모두 β\sqrt{\beta}다. β>0.95\sqrt{\beta} > 0.95는 β>0.9025\beta > 0.9025다.

두 근이 모두 절댓값 1 안에 들 조건은 ∣β∣<1|\beta| < 1(기호표의 0≤β<10 \le \beta < 1)과 ∣1+β−ηk∣<1+β|1 + \beta - \eta k| < 1 + \beta, 곧 0<ηk<2(1+β)0 < \eta k < 2(1 + \beta)다.

η\eta까지 함께 고르면 느린 쪽 인자가 가장 작아지는 곳은, 곡률이 가장 작은 방향 kmin⁡k_{\min}과 가장 큰 방향 kmax⁡k_{\max}의 근이 함께 실근에서 복소근으로 넘어가는 경계의 β\beta다. 조건수를 κ=kmax⁡/kmin⁡\kappa = k_{\max}/k_{\min}이라 하면 β=(κ−1κ+1)2\beta = \left(\frac{\sqrt{\kappa} - 1}{\sqrt{\kappa} + 1}\right)^2, η=4(kmax⁡+kmin⁡)2\eta = \frac{4}{(\sqrt{k_{\max}} + \sqrt{k_{\min}})^2}이고 그때 인자는 β\sqrt{\beta}다. 이 그릇(κ=10\kappa = 10)은 β≈0.27\beta \approx 0.27, η≈0.231\eta \approx 0.231, 인자 약 0.52다. κ=100\kappa = 100이면 β≈0.67\beta \approx 0.67이고, β=0.9\beta = 0.9가 되는 것은 κ≈1442\kappa \approx 1442다.

핵심

모멘텀 계수 β\beta를 키우면 같은 방향의 걸음이 커지지만, 너무 키우면 바닥을 지나쳐 되돌아오느라 오히려 느려진다.

β와 학습률은 어떻게 고르나

알맞은 β\beta는 학습률에 따라 달라서, 둘을 함께 고른다. 이 그릇의 20걸음 손실로는 η=0.05\eta = 0.05일 때 β≈0.65\beta \approx 0.65가 가장 좋지만, η=0.18\eta = 0.18이면 0.9가 경사하강법보다 나쁘다. PyTorch의 기본값은 β=0\beta = 0(모멘텀 없음)이고 흔히 0.9를 쓴다. Goodfellow 외는 0.5, 0.9, 0.99를 예로 들고, 작게 시작해 나중에 키우기도 한다고 적는다.

학습률을 낮춰도 점근 인자는 β\sqrt{\beta} 아래로 못 내려간다. 그래서 이 그릇에서 β=0.9\beta = 0.9는 η\eta를 어떻게 골라도 경사하강법의 최선 9/11≈0.8189/11 \approx 0.818보다 느리다.

그런데도 0.9가 흔한 까닭은 조건수로 설명할 수 있다. η\eta까지 함께 고르면 조건수 10인 이 그릇의 최선은 β≈0.27\beta \approx 0.27, η≈0.23\eta \approx 0.23이다. 그때 점근 인자는 0.52로, 경사하강법의 최선 0.818보다 작다('왜 √β인가' 접힌 글의 끝). 조건수가 클수록 최선의 β\beta도 커져서 100이면 약 0.67, 약 1440이면 0.9다. 0.9는 조건수 10에는 너무 크고, 조건수가 천을 넘는 문제에 맞는 값이다.

모멘텀은 경사하강법의 지그재그(진동)를 줄여 줘?

β\beta가 알맞으면 모멘텀은 지그재그(진동)를 더 빨리 잦아들게 한다. 경사하강법 η=0.18\eta = 0.18에서 yy는 걸음마다 부호를 바꾸며 크기가 0.8배가 된다. 같은 η\eta에 β=0.5\beta = 0.5를 켜면 이 인자가 길게 평균해 0.5≈0.707\sqrt{0.5} \approx 0.707로 작아져, 20걸음 뒤 ∣y∣|y|가 0.017에서 0.0006으로 준다. β=0.9\beta = 0.9면 인자가 0.949로 커져 오히려 더 오래 출렁인다.

모멘텀은 언제 안 좋아?

학습률은 그대로 두고 β\beta만 크게 켜면 경사하강법보다 느려질 수 있다. 이미 빠른 η=0.18\eta = 0.18에서 20걸음 뒤 손실은 β=0\beta = 0이 0.005, 0.50.5가 약 0.00001, 0.90.9가 3.02다. β\beta를 0.72에서 0.95까지 0.001 간격으로 재 보면 전부 경사하강법보다 크다. 점근 인자 0.9≈0.949\sqrt{0.9} \approx 0.949가 경사하강법의 1−0.18=0.821 - 0.18 = 0.82보다 크다.

모멘텀을 쓰면 학습률을 바꿔야 해?

β\beta를 켜면 걸음 크기와 발산 경계가 서로 다른 배율로 바뀌므로, 학습률은 β\beta와 함께 다시 고른다. 그래디언트가 일정한 방향의 걸음은 1/(1−β)1/(1-\beta)배로 커진다(0.9면 10배). 그런데 발산 경계 0<ηk<2(1+β)0 < \eta k < 2(1+\beta)는 (1+β)(1+\beta)배만 넓어져, yy 방향의 경계 0.2가 β=0.9\beta = 0.9에서 0.38이 될 뿐이다. 그래서 같은 학습률에 β\beta만 키우면 발산은 안 해도 바닥을 지나치기 쉽다.

모멘텀의 흔한 오해

  • 학습률을 그대로 두고 모멘텀만 켜면 보폭은 그대로다 — 그래디언트가 일정하면 식 (3)의 속도가 그래디언트의 1/(1−β)1/(1-\beta)배로 커져, momentum=0.9면 같은 lr로도 한 걸음이 10배까지 커진다.
  • β는 클수록 빠르다 — η=0.05\eta = 0.05에서 20걸음 뒤 손실은 β≈0.65\beta \approx 0.65 근처가 가장 작고, β≥0.91\beta \ge 0.91이면 경사하강법의 1.24보다도 크다(그림 2). 점근 인자의 하한 β\sqrt{\beta}도 β\beta와 함께 커진다.

모멘텀은 AI에서 어디에 쓰이나

신경망 학습 루프에서 모멘텀은 갱신 단계 optimizer.step() 하나만 바꾼다. 그래디언트를 지우고, 손실을 계산하고, 역전파로 그래디언트를 구하는 단계는 경사하강법과 같다. step()이 파라미터마다 속도 vv를 저장해 두었다가 식 (2)로 갱신한다.

이 페이지PyTorch
β\betatorch.optim.SGD(params, lr=0.05, momentum=0.5)의 momentum. 기본값 0(모멘텀 없음, 식 (1)), 흔히 쓰는 값 0.9. 문서는 μ\mu로 적는다
vtv_t옵티마이저가 파라미터마다 두는 optimizer.state[p]["momentum_buffer"]. 첫 step()에서 그래디언트 그대로 시작한다(dampening=0이면 v−1=0v_{-1} = 0으로 둔 식 (2)와 같다)
η\etalr (기본값 1e-3)
식 (2)momentum > 0이고 dampening·weight_decay가 0, nesterov·maximize가 False(momentum 말고는 모두 기본값)일 때의 optimizer.step()
dampening둘째 step()부터 식 (2)의 ∇L\nabla L 앞에 (1 − dampening)이 곱해진다. 첫 step()의 버퍼는 그래디언트 그대로다. 기본값 0
nesterov=False기본값. True면 Nesterov 모멘텀(예정)이고 momentum > 0, dampening=0이어야 한다. 수렴 조건이 식 (2)와 다르다(표 아래)

Nesterov 모멘텀은 곡률 kk인 방향의 학습률 경계가 2(1+β)/k2(1+\beta)/k가 아니라 2(1+β)/((1+2β)k)2(1+\beta)/((1+2\beta)k)다. 이 그릇의 yy 방향·β=0.5\beta = 0.5에서는 0.3이 아니라 0.15다.

Sutskever 외와 Keras는 학습률을 속도 안에 넣어 vt=βvt−1−η ∇L(θt)v_t = \beta v_{t-1} - \eta\,\nabla L(\theta_t), θt+1=θt+vt\theta_{t+1} = \theta_t + v_t로 쓴다.33 η\eta가 고정이면 식 (2)와 같은 경로다(이 꼴의 vtv_t는 식 (2)의 vtv_t에 −η-\eta를 곱한 것). 학습률을 걸음마다 바꾸면 이 꼴의 속도에는 지난 학습률이 남아 두 꼴이 달라진다.

다음 페이지 Adam은 이 속도를 좌표마다 지난 그래디언트의 크기로 나눈다. Adam의 β1\beta_1이 이 페이지의 β\beta에 해당하고, 그 페이지는 vv를 다른 양에 쓰느라 속도를 uu로 적는다.

PyTorch momentum=0.9는 무슨 뜻이야?

momentum=0.9는 매 스텝 지난 속도의 90%를 남기고 이번 그래디언트를 더한다는 뜻이다(식 (2)의 β=0.9\beta = 0.9). 기본값은 0이고 0.9는 흔히 쓰는 값이다. 이 그릇의 η=0.05\eta = 0.05에서는 20걸음 뒤 손실이 β=0.5\beta = 0.5(0.106)보다 큰 1.18이다. 그런데도 0.9가 흔한 까닭은 'β와 학습률은 어떻게 고르나' §의 조건수 이야기다.

코드로 확인하기

경사하강법 페이지의 코드에서 갱신 두 줄이 바뀐다. 속도 velocity를 두고, 그래디언트 대신 속도만큼 걷는다. beta = 0으로 바꾸면 경사하강법 η=0.05\eta = 0.05의 결과가 나온다.

수식
vt=β vt−1+∇L(θt),θt+1=θt−η vt(2)\sym{velocity}{v}_t = \sym{beta}{\beta} \, \sym{velocity}{v}_{t-1} + \sym{grad}{\nabla L}(\sym{theta}{\theta}_t), \qquad \sym{theta}{\theta}_{t+1} = \sym{theta}{\theta}_t - \sym{eta}{\eta} \, \sym{velocity}{v}_t \tag{2}
코드 figures/momentum.py
import numpy as np

def L(p):
    x, y = p
    return 0.5 * (x**2 + 10 * y**2)

def grad(p):
    x, y = p
    return np.array([x, 10 * y])    # ∇L = (x, 10y)

theta    = np.array([-4.4, 1.5])    # θ₀
eta      = 0.05                      # η
beta     = 0.5                       # β  (0 이면 경사하강법)
velocity = np.zeros(2)               # v₋₁ = 0
for t in range(21):
    if t % 5 == 0: print(f"t={t:2d}  L={L(theta):.3f}")
    velocity = beta * velocity + grad(theta)   # 식 (2) 왼쪽
    theta = theta - eta * velocity             # 식 (2) 오른쪽
$ python momentum.py
t= 0  L=20.930
t= 5  L=4.161
t=10  L=1.214
t=15  L=0.360
t=20  L=0.106

직접 해보기

  1. η=0.05\eta = 0.05, β=0.9\beta = 0.9로 두 걸음을 걸으면 θ2\theta_2는 어디인가? xx는 출발점에서 얼마나 나아갔고, 경사하강법·β=0.5\beta = 0.5와 비교하면 어떤가?
답

v0=(−4.4, 15)v_0 = (-4.4,\ 15)와 θ1=(−4.18, 0.75)\theta_1 = (-4.18,\ 0.75)까지는 β\beta와 상관없이 같다. v1=0.9×(−4.4, 15)+(−4.18, 7.5)=(−8.14, 21)v_1 = 0.9 \times (-4.4,\ 15) + (-4.18,\ 7.5) = (-8.14,\ 21)이라 θ2=(−4.18+0.407, 0.75−1.05)=(−3.773, −0.3)\theta_2 = (-4.18 + 0.407,\ 0.75 - 1.05) = (-3.773,\ -0.3)이다. xx는 0.627만큼 나아가 경사하강법(0.429)·β=0.5\beta = 0.5(0.539)보다 멀리 갔고, yy는 벌써 바닥을 지나 −0.3-0.3이다.

더 읽기

  • Some methods of speeding up the convergence of iteration methods — B. T. Polyak, 1964. USSR Computational Mathematics and Mathematical Physics 4(5). 지난 걸음의 β배를 더하는 '무거운 공(heavy ball)' 방법의 원전이다. 2차 함수에서 수렴 속도를 분석한다. 'β를 너무 키우면 왜 다시 느려지나' §의 접힌 유도가 기댄다.
  • On the importance of initialization and momentum in deep learning — Sutskever·Martens·Dahl·Hinton, 2013. ICML. 고전 모멘텀과 Nesterov 모멘텀을 나란히 적고, 깊은 망 학습에서 모멘텀 계수와 초기화가 중요함을 실험으로 보인다. 기호표의 μ 표기와 '모멘텀은 AI에서 어디에 쓰이나' §의 학습률을 속도 안에 넣는 꼴이 기댄다.
  • Deep Learning, 8장 Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.3.2절이 모멘텀을 지난 그래디언트의 지수적으로 줄어드는 이동 평균으로 설명하고, 그래디언트가 일정하면 최대 속력이 1/(1 − α)배임을 보인다. 식 (3) 아래 문단, 'β와 학습률은 어떻게 고르나' §의 흔히 쓰는 값, '모멘텀의 흔한 오해' §가 기댄다.
  • torch.optim.SGD — PyTorch 공식 문서, 2.15판에서 확인. 인자 기본값(momentum=0, dampening=0, nesterov=False)과 갱신 의사코드, Sutskever 외와 다른 꼴로 구현했다는 메모가 있다. '모멘텀은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — “SGD랑 모멘텀은 뭐가 달라?”
  • 00:40 식 (1)과 식 (2)를 나란히 판서 — 바뀐 것은 vv 하나, 무거운 공의 운동량
  • 01:50 식 (3) — 속도는 지난 그래디언트의 합, 일정하면 1/(1−β)1/(1-\beta)배
  • 03:00 그림 1 — 손으로 두 걸음, θ2=(−3.861, 0)\theta_2 = (-3.861,\ 0)
  • 04:30 그림 2 — β=0.9\beta = 0.9가 되돌아오는 자리, β≈0.65\beta \approx 0.65의 바닥, 점근 인자 β\sqrt{\beta}
  • 05:40 PyTorch momentum=0.9와 학습률 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

이 페이지의 기록
  1. 2026-11-02 · 에이전트 초안 (수식 3, 그림 2, 코드랩 1)
  2. 2026-11-02 · 검수 — 더 읽기 URL 4개와 PyTorch 2.15 문서 확인, Wikidata 항목 없음(none), 그림 SVG를 로컬 글꼴로 다시 생성
  3. 2026-11-04 · 영어판 번역
  4. 2026-11-05 · 남은 질문(미니배치 잡음을 속도가 평균 내는 효과)을 미니배치 SGD 페이지(예정)로 넘김 (영어판도)
  5. 2026-11-05 · 직접 검토 — 완성으로 올림
  6. 2026-11-05 · 선수에 급수(예정) 연결
  7. 2026-11-12 · 등비급수 설명에 급수 페이지 링크 연결
  8. 2026-11-13 · 미니배치 SGD 페이지 링크 연결 (영어판도)
  9. 2026-11-13 · 독자 패널 리뷰 반영 — 걸음 하나의 감소율을 '길게 평균하면'으로 한정, 0.9가 흔한 까닭(조건수)과 지그재그 질문 추가, 긴 문장 나눔, 머리말과 § 제목에 검색 낱말 (에이전트 수정, 다시 검토 전, 영어판도)