읽는 순서
경사하강법
학습률 0.2를 넘으면 왜 발산하나
경사하강법(gradient descent)은 기울기의 반대쪽으로 학습률만큼씩 움직여 손실을 줄이는, 신경망 학습의 기본 방법이다. 20걸음 뒤 학습률 0.18은 손실 0.005, 0.205는 79로 발산한다. 경계 0.2가 가장 휘어진 방향에서 정해지는 과정을 그림과 코드로 확인한다.
미니배치 SGD
배치 크기와 에포크는 무엇을 바꾸나
미니배치 SGD(확률적 경사하강법)는 전체 대신 샘플 일부의 평균 그래디언트로 갱신한다. 샘플 넷 중 둘을 뽑으면 전체 그래디언트 (−4.4, 15) 대신 (−2.4, 15)가 나온다. 배치 사이즈·에포크·이터레이션의 차이와 잡음의 제곱 평균이 배치 크기에 거의 반비례하는 규칙을 본다.
모멘텀
옵티마이저의 β는 키울수록 빠를까
모멘텀(momentum)은 지난 그래디언트를 β배씩 줄여 쌓은 속도(관성)만큼 걷는 딥러닝 옵티마이저다. 학습률 0.05로 20걸음 뒤 손실은 모멘텀 없이 1.24, β = 0.5면 0.106이다. β = 0.9가 이 예시에서는 느린데도 흔히 쓰이는 까닭을 조건수로 확인한다.
지수 이동 평균
최근 값에 더 큰 무게를 주는 평균은 어떻게 계산하나
Adam
옵티마이저의 학습률은 왜 SGD와 뜻이 다른가
Adam(아담)은 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눠 걷는 딥러닝 옵티마이저다. 학습률 0.05의 첫 걸음은 경사하강법이 x로 0.22, y로 0.75, Adam은 둘 다 0.05다. 모멘텀·RMSProp과의 차이, 기본값 1e-3의 뜻을 확인한다.
Nesterov 모멘텀
Nesterov 모멘텀은 왜 수렴 조건이 모멘텀과 다른가
AdamW
가중치 감쇠를 그래디언트와 떼어 내면 무엇이 달라지나
최댓값과 argmax
가장 큰 값과 그 값을 내는 자리는 어떻게 다른가
조건수
방향마다 휘어짐이 다르면 경사하강법은 왜 느려지나
볼록성과 국소 최솟값
출발점에 따라 도착하는 최솟값이 왜 달라지나
RMSProp
그래디언트 제곱의 평균으로 나누면 무엇이 달라지나
학습률 스케줄
SGD 학습률은 왜 점점 줄이나
학습률 스케줄(learning rate schedule)은 걸음마다 학습률을 바꾸는 규칙이다. 샘플 넷에서 복원 추출로 하나씩 뽑는 SGD를 0.1로 고정하면 100걸음 뒤 손실이 최솟값보다 평균 5.11 높고, 50걸음째 0.01로 낮추면 0.31 높다. 감쇠·워밍업·배치를 본다.
배치 크기
배치 사이즈는 얼마로 정하고 학습률과 어떻게 함께 바꾸나