최적화경사하강법#001

경사하강법

Gradient Descent

경사하강법(gradient descent)은 기울기의 반대쪽으로 학습률만큼씩 움직여 손실을 줄이는, 신경망 학습의 기본 방법이다. 20걸음 뒤 학습률 0.18은 손실 0.005, 0.205는 79로 발산한다. 경계 0.2가 가장 휘어진 방향에서 정해지는 과정을 그림과 코드로 확인한다.

받은 질문
  • 학습률이 0.2를 넘으면 왜 갑자기 발산하지?
  • 학습률이 크면 왜 발산해? 0.2가 왜 경계야?
주인공 기호
η
읽는 시간
약 11분
선수 개념
그래디언트

직관 — 안개 낀 산에서 내려가기

직관

짙은 안개 속 산 중턱에 서 있다고 상상해 보자. 멀리는 보이지 않지만 발밑의 경사는 느낄 수 있다. 가장 가파르게 내려가는 방향으로 한 걸음, 다시 경사를 느끼고 또 한 걸음.

보폭이 너무 크지 않으면 이것을 반복해 언젠가 골짜기에 도착한다.11 도착한 곳이 가장 낮은 골짜기(전역 최솟값)라는 보장은 없다. 이 페이지의 예시는 골짜기가 하나뿐인 그릇 모양(볼록) 함수이고, 학습률이 0과 0.2 사이면 그 한 점으로 모인다(식 (4)). 여기서 산의 높이가 손실 함수, 내 위치가 파라미터, 발밑의 경사가 그래디언트(기울기), 그 경사에 곱해 보폭을 정하는 배율이 학습률이다.22 그래서 같은 학습률이라도 가파른 곳에서는 더 멀리 내딛는다. 한 걸음의 길이는 학습률 × 경사다. 신경망(딥러닝)이 배운다는 것은 이 걸음을 수없이 되풀이해 손실을 줄이는 일이다.

이 페이지는 그 배율을 어디까지 키울 수 있는지를 그릇 하나에서 숫자로 따라간다. 답은 0.2이고, 그 값은 가장 휘어진 방향이 정한다.

경사하강법은 그래디언트의 반대 방향으로 내려가는 반복 규칙이다

경사하강법(gradient descent, GD)은 손실이 가장 빠르게 커지는 방향의 반대쪽으로 조금씩 움직이기를 되풀이해, 손실이 가장 작은 곳을 찾는 방법이다. '경사 하강법'으로 띄어 쓰기도 한다.

파라미터 θ\theta에서 손실 LL이 가장 빠르게 커지는 방향이 그래디언트 ∇L\nabla L이다. 그러니 그 반대쪽으로, 그래디언트에 η\eta를 곱한 η ∇L\eta\,\nabla L만큼 움직인다.33 부호가 −-인 이유: 그래디언트는 오르막을 가리키므로, 내려가려면 반대로 가야 한다. 말로 쓰면 '새 위치 = 지금 위치 − 학습률 × 그래디언트'다.

θt+1=θt−η ∇θL(θt)(1)\theta_{t+1} = \theta_t - \eta \, \nabla_\theta L(\theta_t) \tag{1}
정의
기호이름원어뜻
θt\theta_t파라미터parametertt번째 걸음에서의 위치. 신경망이라면 모든 가중치를 한 줄로 늘어놓은 벡터
η\eta학습률learning rate그래디언트에 곱해 한 걸음의 길이를 정하는 배율(0보다 큰 수). 이 페이지의 주인공. 러닝레이트·step size라고도 하고, 문헌에 따라 α\alpha(Kingma·Ba), ε\varepsilon(Goodfellow 외), γ\gamma(MML, PyTorch 문서)로 쓴다
∇L\nabla L그래디언트gradient각 파라미터에 대한 편미분(다른 파라미터는 고정하고 하나로만 미분한 값)을 모은 벡터. 오르막 방향을 가리킨다. 한 방향의 편미분을 그 방향의 기울기라 하고, 이 벡터 전체도 흔히 기울기라 부른다. ∇θL\nabla_\theta L은 θ\theta에 대해 미분했다는 표시다
LL손실 함수loss function파라미터가 얼마나 나쁜지 재는 값. 작을수록 좋다
tt반복 횟수iteration지금까지 내디딘 걸음 수. L20L_{20}은 20걸음 뒤의 손실
x,yx, y좌표coordinates2차원 예시에서 θ=(x,y)\theta = (x, y)의 두 성분
kk곡률curvature한 방향의 2차 도함수(이계도함수), 곧 기울기가 그 방향으로 커지는 빠르기. 식 (2)에서 xx 방향은 1, yy 방향은 10

예시로 쓸 함수는 yy 방향이 xx 방향보다 10배 휘어진 그릇이다.44 휘어짐은 가파름이 커지는 빠르기다. 같은 거리만큼 떨어졌을 때 기울기가 10배라는 뜻이고, 식 (2)에서 x=1x = 1의 기울기는 1, y=1y = 1의 기울기는 10이다.

L(x,y)=12(x2+10y2),∇L=(x, 10y)(2)L(x, y) = \tfrac{1}{2}\left(x^2 + 10y^2\right), \qquad \nabla L = (x,\ 10y) \tag{2}

yy를 고정하고 xx로 미분하면 12×2x=x\tfrac{1}{2} \times 2x = x, xx를 고정하고 yy로 미분하면 12×20y=10y\tfrac{1}{2} \times 20y = 10y다.

그림 1은 이 그릇의 등고선 위에서 세 학습률이 걷는 경로다.

L의 등고선 위에서 같은 출발점 (-4.4, 1.5), 다른 학습률로 움직인 경로(14걸음, 발산하는 0.205만 6걸음). η = 0.05는 느리고, 0.18은 지그재그로 수렴하고, 0.205는 발산한다.
그림 1 LL의 등고선 위에서 같은 출발점 (−4.4, 1.5)(-4.4,\ 1.5), 다른 학습률로 움직인 경로(14걸음, 발산하는 0.2050.205만 6걸음). η=0.05\eta = 0.05는 느리고, 0.180.18은 지그재그로 수렴하고, 0.2050.205는 발산한다. figures/contour_paths.py

학습률(learning rate, 러닝레이트)이 뭐야?

학습률(learning rate, 러닝레이트)은 그래디언트에 곱해 한 걸음의 길이를 정하는 0보다 큰 수다. 식 (1)의 η\eta가 학습률이고, 한 걸음의 길이는 학습률 × 그래디언트의 크기다. 모델이 배우는 값이 아니라 사람이 미리 정하는 값이다. 이 그릇에서는 0.05는 느리고 0.18은 빠르며 0.205는 발산한다(그림 1).

경사하강법은 왜 국소 최솟값(지역 최솟값)에 갇혀?

경사하강법은 그래디언트가 0인 점에서는 걸음 η ∇L\eta\,\nabla L도 0이라 더 움직이지 않기 때문이다. 주변보다만 낮은 국소 최솟값(local minimum)과 안장점(saddle point)도 그런 점이라, 그 가까이에서는 걸음이 아주 작아진다. 이 그릇은 그런 점이 바닥 (0, 0)(0,\ 0) 하나뿐이고, 골짜기가 여럿인 함수는 '볼록성과 국소 최솟값' 페이지(예정)에서 다룬다.

학습률이 0.2를 넘으면 왜 발산하나

이 예시 그릇에서 학습률이 0.2를 넘으면, yy 방향으로는 한 걸음이 골짜기 바닥을 지나쳐 반대편의 더 높은 자리에 떨어진다. 그래서 ∣y∣|y|가 걸음마다 커지고, η=0.205\eta = 0.205는 20걸음 뒤 손실이 출발 때의 20.93을 넘어 79가 된다(그림 2).

식 (2)의 그래디언트를 식 (1)에 넣으면 두 좌표가 따로따로, 걸음마다 같은 수를 곱한 값이 된다.

xt+1=(1−η) xt,yt+1=(1−10η) yt(3)x_{t+1} = (1 - \eta)\, x_t, \qquad y_{t+1} = (1 - 10\eta)\, y_t \tag{3}

식 (1)을 좌표마다 쓴 xt+1=xt−η xtx_{t+1} = x_t - \eta\,x_t, yt+1=yt−η×10yty_{t+1} = y_t - \eta \times 10y_t를 묶은 것이다.

η=0.18\eta = 0.18로 첫 걸음을 따라가 보자. x1=0.82×(−4.4)=−3.608x_1 = 0.82 \times (-4.4) = -3.608, y1=(1−1.8)×1.5=−1.2y_1 = (1 - 1.8) \times 1.5 = -1.2다. yy 걸음의 길이 η×10∣y∣\eta \times 10|y|는 바닥까지 거리 ∣y∣|y|의 10η=1.810\eta = 1.8배라서, yy는 바닥을 지나 반대쪽으로 건너갔다.

yy 방향의 곱셈 인자 (1−10η)(1 - 10\eta)의 절댓값이 1보다 작아야 yy가 0으로 줄어든다. 인자가 음수가 되면(η>0.1\eta > 0.1, 곧 한 걸음이 바닥까지 거리보다 길면) 부호가 매번 뒤집히며 지그재그로 움직이고, 절댓값이 1을 넘으면 발산한다.

∣1−10η∣<1  ⟺  0<η<0.2(4)|1 - 10\eta| < 1 \iff 0 < \eta < 0.2 \tag{4}

그래서 η=0.205\eta = 0.205는 경계 0.2를 단 0.005 넘었을 뿐인데 발산한다.55 xx 방향만 보면 ∣1−η∣<1|1-\eta| < 1, 즉 η<2\eta < 2까지 괜찮다. 상한을 정한 건 더 휘어진 yy 쪽이다.

식 (3)은 xx와 yy가 각각 같은 수를 곱해 가는 등비수열이다(공비 1−η1 - \eta, 1−10η1 - 10\eta). 그래서 tt번 되풀이하면 출발점에서 바로 tt걸음 뒤로 건너뛸 수 있다.

xt=(1−η)t x0,yt=(1−10η)t y0(5)x_t = (1 - \eta)^t\, x_0, \qquad y_t = (1 - 10\eta)^t\, y_0 \tag{5}

η=0.205\eta = 0.205면 yy 인자가 −1.05-1.05라, ∣y∣|y|가 걸음마다 1.05배로 커지고 부호가 뒤집힌다. 20걸음 뒤에는 ∣y20∣=1.0520×1.5≈3.98|y_{20}| = 1.05^{20} \times 1.5 \approx 3.98로, 출발 때의 약 2.65배다. 손실은 출발 때 L0=12(4.42+10×1.52)=20.93L_0 = \tfrac{1}{2}(4.4^2 + 10 \times 1.5^2) = 20.93에서 처음 세 걸음 동안 17.52까지 줄어든다. xx 몫이 빠르게 줄어 yy 몫의 증가를 가리기 때문이다.

그러나 일곱째 걸음부터는 출발 손실 20.93을 넘고, 20걸음 뒤 L20=12(x202+10 y202)≈79L_{20} = \tfrac{1}{2}(x_{20}^2 + 10\,y_{20}^2) \approx 79가 된다. 그림 2에서 0.2050.205의 곡선이 잠깐 내려가다 위로 빠져나가는 것이 이 모습이다.

반복 횟수 t에 따른 손실 L. 20걸음 뒤 η = 0.18은 0.005, 0.05는 1.24, 0.205는 79까지 커진다. 화살표는 0.205의 곡선이 그림 위로 벗어나는 자리다.
그림 2 반복 횟수 tt에 따른 손실 LL. 20걸음 뒤 η=0.18\eta = 0.18은 0.005, 0.050.05는 1.24, 0.2050.205는 79까지 커진다. 화살표는 0.2050.205의 곡선이 그림 위로 벗어나는 자리다. figures/loss_curves.py

학습률이 크면 왜 발산해?

학습률(러닝레이트)이 너무 크면, 가장 휘어진 방향으로는 한 걸음이 골짜기 바닥을 지나쳐 반대편 벽의 더 높은 곳에 떨어지고, 이것이 걸음마다 되풀이되기 때문이다. 이 페이지의 그릇 12(x2+10y2)\tfrac{1}{2}(x^2 + 10y^2)에서 '너무 크다'의 기준은 0.2다. η=0.25\eta = 0.25면 식 (3)의 yy 인자가 −1.5-1.5라, ∣y∣|y|가 걸음마다 1.5배로 커지고 부호가 뒤집힌다. 왜 하필 0.2인지는 '학습률의 경계 0.2는 가장 휘어진 방향이 정한다' §에서 본다.

학습률의 경계 0.2는 가장 휘어진 방향이 정한다

0.2는 yy의 한 걸음이 바닥까지 거리의 정확히 두 배가 되는 학습률이다. 두 배를 걸으면 바닥을 지나 반대편 같은 높이에 떨어지고, 그보다 길면 더 높은 곳에 떨어진다.

yy 걸음의 길이는 바닥까지 거리의 10η10\eta배였다. 이 비가 1이면(η=0.1\eta = 0.1) 한 걸음에 바닥에 닿고, 2이면(η=0.2\eta = 0.2) 1.5에서 −1.5-1.5로 정확히 반대편에 닿는다. 10은 yy 방향의 곡률이다. 기울기 10y10y가 yy를 따라 커지는 빠르기다.

곡률이 kk인 방향에서는 같은 계산으로 경계가 2/k2/k가 된다.

∣1−kη∣<1  ⟺  0<η<2k(6)|1 - k\eta| < 1 \iff 0 < \eta < \frac{2}{k} \tag{6}

xx 방향은 곡률이 1이라 경계가 2이고, yy 방향은 10이라 0.2다. 두 방향이 모두 줄어야 하므로 더 작은 경계, 곧 더 휘어진 방향의 경계가 상한이 된다. 식 (6)은 학습률을 고정하고, 방향마다 곡률이 일정한 2차 함수(k>0k > 0)에 쓰는 조건이다.66 2차 함수가 축에 맞춰 놓여 있지 않으면 곡률이 가장 큰 방향을 먼저 찾아야 한다. 선형대수에서는 그 방향을 헤세 행렬(2차 편미분을 모은 행렬)의 고유벡터, 그 방향의 곡률을 가장 큰 고유값이라 부른다. 경계는 2를 그 값으로 나눈 것이다.

그림 3의 왼쪽은 두 인자를 η\eta에 따라 그린 것이다. ∣1−10η∣|1 - 10\eta|는 0.1에서 0이 되었다가 0.2를 지나면 1을 넘고, ∣1−η∣|1 - \eta|는 그려진 η>0\eta > 0에서 1 아래에 머문다. 오른쪽의 L20L_{20}은 0.18 근처에서 가장 작고, 0.2를 지나면 가파르게 솟는다.

학습률 η에 따른 곱셈 인자(왼쪽)와 20걸음 뒤 손실 L_20(오른쪽, 로그 눈금). y 방향 인자 |1 - 10η|는 0 < η < 0.2에서 1보다 작고 0.2를 넘으면 1보다 크다. x 방향 인자 |1 - η|는 그려진 η > 0 전체에서 1보다 작다. 오른쪽 가로 점선은 출발 손실 L_0 = 20.93이다.
그림 3 학습률 η\eta에 따른 곱셈 인자(왼쪽)와 20걸음 뒤 손실 L20L_{20}(오른쪽, 로그 눈금). yy 방향 인자 ∣1−10η∣|1 - 10\eta|는 0<η<0.20 < \eta < 0.2에서 1보다 작고 0.20.2를 넘으면 1보다 크다. xx 방향 인자 ∣1−η∣|1 - \eta|는 그려진 η>0\eta > 0 전체에서 1보다 작다. 오른쪽 가로 점선은 출발 손실 L0=20.93L_0 = 20.93이다. figures/eta_boundary.py

학습률 0.2가 왜 발산의 경계야?

고정 학습률의 발산 경계는 2 ÷ (가장 큰 곡률)이고, 그릇 12(x2+10y2)\tfrac{1}{2}(x^2 + 10y^2)에서는 가장 휘어진 yy 방향의 곡률이 10이라 2 ÷ 10 = 0.2다(식 (6)). 이 학습률에서 yy는 1.5와 −1.5-1.5를 오가, 손실의 yy 몫 12×10×1.52=11.25\tfrac{1}{2} \times 10 \times 1.5^2 = 11.25가 걸음마다 그대로다. 식 (4)대로 0<η<0.20 < \eta < 0.2면 이 몫이 걸음마다 줄고(수렴), 0.2를 넘으면 커진다(발산).

최적 학습률은 경계 바로 밑이 아니라 0.182 근처에 있다

걸음이 충분히 많을 때(점근적으로) 가장 빠른, 곧 최적의 고정 학습률은 두 인자의 절댓값이 같아지는 1−η=10η−11 - \eta = 10\eta - 1, 곧 η=2/11≈0.182\eta = 2/11 \approx 0.182다. 이때 두 인자가 모두 9/11≈0.8189/11 \approx 0.818이라 느린 쪽 인자가 가장 작다.77 20걸음만 보면 L20L_{20}이 가장 작은 곳은 0.177 근처다. LeCun 외(5.1절)는 가장 빠른 학습률을 1 ÷ (가장 큰 곡률), 여기서는 0.1로 적는다. 가장 휘어진 방향 하나만 본 값이라, 두 방향을 함께 보면 2 ÷ (두 곡률의 합) = 2/11이 된다(직접 해보기 1).

경계 바로 밑은 오히려 느리다. η=0.199\eta = 0.199는 yy 인자가 −0.99-0.99라 ∣y∣|y|가 걸음마다 1%씩만 줄고, L20L_{20}이 7.53으로 0.18의 0.005보다 천 배 넘게 크다.

경계가 0.2로 묶이면 덜 휘어진 xx 방향의 인자는 1−η>1−2/10=0.81 - \eta > 1 - 2/10 = 0.8이다. xx는 한 걸음에 20%보다 적게 줄어든다. 두 방향 곡률의 비 10 ÷ 1 = 10을 조건수라 하고, 이 비가 클수록 xx 인자의 하한 1 − 2 ÷ 조건수가 1에 가까워져 덜 휘어진 방향이 더 느려진다.

핵심

학습률의 상한은 가장 휘어진 방향이 정한다. 방향마다 휘어짐이 다를수록(조건수가 클수록) 경사하강법은 느려진다.

첫 문장은 학습률을 고정한 2차 함수에서 정확하다. 둘째 문장은 최적 학습률을 골라도 느린 쪽 인자 (조건수 − 1) ÷ (조건수 + 1)이 조건수와 함께 커진다는 뜻이다(여기서 9/11). 일반 손실에서는 최솟값 근처를 2차 함수로 어림했을 때의 이야기다.88 가장 휘어진 방향의 성분이 처음부터 0이면(이 예시에서 y0=0y_0 = 0) 그 방향은 움직이지 않아 경계도 걸리지 않는다. '느려진다'는 그 성분이 있을 때의 이야기다.

경사하강법의 흔한 오해

  • 학습률은 작게 잡아 두면 손해 볼 게 없다 — η=0.05\eta = 0.05는 발산하지 않는 대신 xx가 걸음마다 0.95배로 5%씩만 줄어, 20걸음 뒤 손실이 1.24로 0.18의 0.005보다 200배 넘게 크다(그림 2).
  • 경로가 지그재그로 출렁이면 발산하는 중이다 — 0.1<η<0.20.1 < \eta < 0.2에서는 식 (3)의 yy 인자가 음수라 부호가 뒤집혀도 절댓값이 1보다 작아서, η=0.18\eta = 0.18은 경로가 지그재그여도(그림 1) 손실이 걸음마다 줄어 20걸음 뒤 0.005다(그림 2).
  • 경계를 조금 넘으면 조금 나빠질 뿐이다 — 0.2를 0.005 넘은 η=0.205\eta = 0.205도 ∣y∣|y|가 걸음마다 1.05배로 곱해져, 20걸음 뒤 손실이 출발 때의 20.93보다 큰 79다.

경사하강법은 AI에서 어디에 쓰이나

모멘텀 없는 SGD(확률적 경사하강법)로 신경망을 학습하면 매 스텝이 식 (1) 한 번이다. 다만 ∇L\nabla L은 전체 데이터가 아니라 데이터 일부(미니배치)로 어림한 값이다. 모멘텀·Adam은 지난 걸음의 그래디언트를 섞어 식 (1)의 항을 바꾼 변형이다. 모멘텀은 모멘텀, Adam은 Adam 페이지에서 같은 그릇으로 이어 가고, 미니배치 SGD에서 샘플을 고를 때의 차이를 이어 간다.

경사하강법 종류(배치·확률적 SGD·미니배치)는 뭐가 달라?

배치·확률적(SGD)·미니배치 경사하강법은 갱신 규칙이 같고, 그래디언트를 구하는 데 쓰는 데이터의 양만 다르다(식 (1)의 ∇L\nabla L). 전체 데이터를 쓰면 배치 경사하강법(이 페이지), 샘플 하나면 확률적 경사하강법(SGD), 일부 묶음이면 미니배치 경사하강법이다. 네 샘플 가운데 둘(1·2번)만 쓰면 그래디언트가 (−4.4, 15)(-4.4,\ 15) 대신 (−2.4, 15)(-2.4,\ 15)가 되는 예는 미니배치 SGD에 있다.

한 스텝은 지난 그래디언트를 지우고(optimizer.zero_grad()), 손실을 계산하고(forward), 역전파로 그래디언트를 구한 뒤(loss.backward()), 식 (1)로 가중치를 갱신한다(optimizer.step()). backward()는 .grad에 값을 더해 쌓으므로 지우는 단계가 먼저 온다. 역전파는 합성함수의 미분 규칙(연쇄법칙)으로 모든 가중치의 편미분을 한 번에 구하는 방법이다. 이때 θ\theta는 모델의 모든 가중치이고, 학습률 η\eta는 사람이 정하는 값이다.

이 페이지PyTorch
θ\thetamodel.parameters() — 옵티마이저에 넘기는 가중치 텐서들
η\etatorch.optim.SGD(params, lr=0.18)의 lr (기본값 1e-3. 문서의 의사코드는 γ로 적는다)
∇L\nabla Lloss.backward()가 각 파라미터의 .grad에 더해 넣는 값
식 (1)optimizer.step() — momentum·dampening·weight_decay가 0이고 nesterov·maximize가 False일 때(모두 기본값)
ttoptimizer.step()을 부른 횟수

PyTorch의 lr이 학습률 η야?

그렇다. torch.optim.SGD의 lr이 식 (1)의 η\eta이고, 기본값은 1e-3(0.001)이다. 다만 이 페이지의 경계 0.2는 곡률이 10으로 고정된 그릇에서 나온 값이다. 신경망은 곡률이 자리마다 달라서, 보통 lr을 몇 가지로 바꿔 보며 학습 곡선(걸음에 따른 손실)이 줄어드는지 보고 고른다.

이 페이지는 학습률을 고정했다. 학습 도중에 학습률을 바꾸는 방법(학습률 스케줄)도 있고, PyTorch에서는 torch.optim.lr_scheduler가 맡는다.

코드로 확인하기

기호를 누르면 수식과 코드에서 같은 것이 함께 표시된다. 학습률 η\eta를 움직여 그림 1의 세 경로를 직접 만들어 보자.

수식
θt+1=θt−η ∇L(θt)(1)\sym{theta}{\theta}_{t+1} = \sym{theta}{\theta}_t - \sym{eta}{\eta} \, \sym{grad}{\nabla L}(\theta_t) \tag{1}∇L=(x, 10y)(2)\sym{grad}{\nabla L} = (x,\ 10y) \tag{2}xt+1=(1−η) xt,yt+1=(1−10 η) yt(3)x_{t+1} = (1 - \sym{eta}{\eta})\, x_t, \qquad y_{t+1} = (1 - 10\,\sym{eta}{\eta})\, y_t \tag{3}
코드 figures/gradient_descent.py
import numpy as np

def L(p):
    x, y = p
    return 0.5 * (x**2 + 10 * y**2)

def grad(p):
    x, y = p
    return np.array([x, 10 * y])    # ∇L — 식 (2)

theta = np.array([-4.4, 1.5])   # θ₀
eta   = 0.18                     # η
for t in range(21):
    if t % 5 == 0: print(f"t={t:2d}  L={L(theta):.3f}")
    theta = theta - eta * grad(theta)  # 식 (1) — 좌표마다 풀면 식 (3)
$ python gradient_descent.py
t= 0  L=20.930
t= 5  L=2.538
t=10  L=0.313
t=15  L=0.039
t=20  L=0.005

직접 해보기

  1. 같은 그릇에서 η=0.1\eta = 0.1이면 yy 방향 인자는 얼마인가? 20걸음 뒤 xx는 출발값의 몇 배가 남고, 손실은 η=0.18\eta = 0.18의 0.005와 비교해 어떤가?
  2. yy 계수가 10이 아니라 100인 그릇 L=12(x2+100y2)L = \tfrac{1}{2}(x^2 + 100y^2)이면 학습률의 경계는 얼마인가? 그 경계 아래에서 xx가 한 걸음에 줄어드는 몫은 몇 %를 넘지 못하나?
답
  1. 1−10×0.1=01 - 10 \times 0.1 = 0이라 yy는 첫 걸음에 바닥(0)에 닿는다. xx는 식 (5)대로 0.920≈0.120.9^{20} \approx 0.12배가 남아 L20≈0.14L_{20} \approx 0.14로, 0.18의 0.005보다 스무 배 넘게 크다. yy에 가장 좋은 학습률이 전체에 가장 좋은 학습률은 아니다.
  2. 식 (6)에서 k=100k = 100이니 0<η<2/100=0.020 < \eta < 2/100 = 0.02다. 이 범위에서 xx 인자 1−η1 - \eta는 0.98보다 커서, xx는 한 걸음에 2%도 줄지 못한다. 조건수가 10에서 100이 되자, 한 걸음에 xx가 줄어드는 몫의 상한이 20%에서 2%로 떨어졌다. 두 값 모두 경계에서의 값이라 실제로 닿지는 않는다.

더 읽기

  • Deep Learning, 4장 Numerical Computation — Goodfellow·Bengio·Courville, 2016. 4.3절의 식 (4.5)가 이 페이지의 식 (1)이다(학습률을 ε로 쓴다). 4.3.1절과 그림 4.6은 조건수가 나쁘면 학습률(step size)이 가장 휘어진 방향에서 최솟값을 넘어 오르막으로 가지 않을 만큼 작아야 하고, 그래서 보통 덜 휘어진 방향의 진행이 느리다고 설명한다. '학습률의 경계 0.2는 가장 휘어진 방향이 정한다' §가 기댄다.
  • Deep Learning, 8장 Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.3.1절이 학습률이 너무 크면 학습 곡선이 심하게 요동하며 비용이 커지고, 너무 작으면 느리다고 경고한다. 학습률은 학습 곡선을 보며 고르는 것이 보통 가장 낫다고 적는다. '경사하강법의 흔한 오해' §와 'PyTorch의 lr' 질문이 기댄다.
  • Mathematics for Machine Learning, 7장 Continuous Optimization — Deisenroth·Faisal·Ong, 2020. 7.1절이 경사하강법과 조건이 나쁜 문제의 지그재그를, 7.1.1절이 학습률(step-size)이 너무 크면 넘어가거나 발산한다는 것과 조건수를 다룬다. 책 PDF는 이 주소에서 받는다. '학습률이 0.2를 넘으면 왜 발산하나' §와 '경사하강법의 흔한 오해' §가 기댄다.
  • Efficient BackProp — LeCun·Bottou·Orr·Müller, 1998. Neural Networks: Tricks of the Trade(Springer) 수록, DOI 10.1007/3-540-49430-8_2. 5.1절이 한 걸음에 최솟값에 닿는 학습률, 그 두 배까지는 오가며 수렴하고 넘으면 발산한다는 것, 여러 방향이면 경계가 2 ÷ (가장 큰 곡률)임을 보인다. 가장 빠른 학습률을 1 ÷ (가장 큰 곡률)로 적는 대목은 이 페이지의 2/11과 다르다('최적 학습률은 경계 바로 밑이 아니라 0.182 근처에 있다' §의 메모 참고). '학습률의 경계 0.2는 가장 휘어진 방향이 정한다' §의 바닥·반대편 설명과 '경사하강법의 흔한 오해' §가 기댄다.
  • torch.optim.SGD — PyTorch 공식 문서, 2.15판에서 확인. 인자 기본값(lr=1e-3, momentum=0 …)과 갱신 의사코드. '경사하강법은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
  • torch.optim — How to adjust learning rate — PyTorch 공식 문서, 2.15판에서 확인. torch.optim.lr_scheduler가 에포크 수에 따라 학습률을 조정하는 방법들을 준다고 적는다. '경사하강법은 AI에서 어디에 쓰이나' §의 학습률 스케줄 문장이 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — “안개 속 산에서 어떻게 내려갈까?”
  • 01:10 식 (1)을 기호 하나씩 판서 — θ\theta, η\eta, ∇L\nabla L
  • 03:40 그림 1 — 세 학습률을 한 걸음씩
  • 06:20 식 (4) 유도 — 왜 0.2가 경계인가
  • 07:30 그림 3 — η=0.1\eta = 0.1은 바닥에, 0.20.2는 반대편 같은 높이에
  • 08:30 코드랩 화면 · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾸고 유튜브 챕터로 옮긴다.

지도에서의 위치

미분미적분벡터와 내적선형대수그래디언트미적분경사하강법지금 이 페이지역전파AI조건수예정볼록성과 국소 최솟값예정학습률 스케줄최적화선형 회귀예정미니배치 SGD최적화모멘텀기법 · 최적화RMSProp기법 · 예정
선수 개념
이 페이지
다음 개념
완성예정기법이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-02 · 에이전트 초안 (수식 4, 그림 2, 코드랩 1)
  2. 2026-11-02 · 보충 — 학습률이 크면 왜 발산하나·0.2가 왜 경계인가 (+질문 블록 3, +§ 흔한 오해·AI에서 어디에 쓰이나·직접 해보기·더 읽기, 학습률 §를 셋으로 나눔, +그림 1, +수식 2, § 제목을 질문·주장문으로, 숫자 확인 스크립트 정리)
  3. 2026-11-02 · 영어판 재번역·강의 대본 문장 수정 (강의 장면 +1 — 그림 3)
  4. 2026-11-02 · next의 momentum-adam을 momentum으로 (roadmap의 묶인 노드를 momentum·adam으로 나눔), 'AI에서 어디에 쓰이나'의 예정 문장을 모멘텀 페이지 링크로
  5. 2026-11-04 · 'AI에서 어디에 쓰이나'의 예정 문장에서 Adam을 Adam 페이지 링크로 (영어판도)
  6. 2026-11-05 · 남은 질문 둘을 조건수 페이지(예정)와 볼록성과 국소 최솟값 페이지(예정)로 넘김 (영어판도)
  7. 2026-11-05 · 직접 검토 — 완성으로 올림
  8. 2026-11-12 · 그래디언트·연쇄법칙 페이지 링크 연결 (영어판도)
  9. 2026-11-13 · 역전파 페이지 링크 연결 (영어판도)
  10. 2026-11-13 · 미니배치 SGD 페이지 링크 연결 (영어판도)
  11. 2026-11-13 · 독자 패널 리뷰 반영 — 첫 화면에 신경망 학습과의 연결, 질문 블록 셋(학습률이 뭐야·경사하강법 종류·국소 최솟값) 추가, 식 (2)·(3)의 계산 한 줄씩, 교과서 낱말(등비수열·이계도함수), 머리말과 § 제목에 검색 낱말 (에이전트 수정, 다시 검토 전, 영어판도)