수학곳곳최적화분야

최적화

Optimization

신경망을 학습시키는 옵티마이저를 읽는 순서대로 모았습니다. 경사하강법의 학습률 경계에서 출발해 미니배치 SGD의 배치 사이즈와 에폭, 모멘텀의 β, Adam의 좌표별 걸음을 같은 손실 ½(x² + 10y²)에서 비교합니다.

완성
5
작성 중
0
예정
8
지도
전체 지도에서 보기 →

읽는 순서

  1. 경사하강법

    #001완성

    학습률 0.2를 넘으면 왜 발산하나

    경사하강법(gradient descent)은 기울기의 반대쪽으로 학습률만큼씩 움직여 손실을 줄이는, 신경망 학습의 기본 방법이다. 20걸음 뒤 학습률 0.18은 손실 0.005, 0.205는 79로 발산한다. 경계 0.2가 가장 휘어진 방향에서 정해지는 과정을 그림과 코드로 확인한다.

  2. 미니배치 SGD

    #020완성

    배치 크기와 에포크는 무엇을 바꾸나

    미니배치 SGD(확률적 경사하강법)는 전체 대신 샘플 일부의 평균 그래디언트로 갱신한다. 샘플 넷 중 둘을 뽑으면 전체 그래디언트 (−4.4, 15) 대신 (−2.4, 15)가 나온다. 배치 사이즈·에포크·이터레이션의 차이와 잡음의 제곱 평균이 배치 크기에 거의 반비례하는 규칙을 본다.

  3. 모멘텀

    #002완성

    옵티마이저의 β는 키울수록 빠를까

    모멘텀(momentum)은 지난 그래디언트를 β배씩 줄여 쌓은 속도(관성)만큼 걷는 딥러닝 옵티마이저다. 학습률 0.05로 20걸음 뒤 손실은 모멘텀 없이 1.24, β = 0.5면 0.106이다. β = 0.9가 이 예시에서는 느린데도 흔히 쓰이는 까닭을 조건수로 확인한다.

  4. 지수 이동 평균

    예정

    최근 값에 더 큰 무게를 주는 평균은 어떻게 계산하나

  5. Adam

    #003완성

    옵티마이저의 학습률은 왜 SGD와 뜻이 다른가

    Adam(아담)은 그래디언트의 평균을 좌표마다 지난 그래디언트의 크기로 나눠 걷는 딥러닝 옵티마이저다. 학습률 0.05의 첫 걸음은 경사하강법이 x로 0.22, y로 0.75, Adam은 둘 다 0.05다. 모멘텀·RMSProp과의 차이, 기본값 1e-3의 뜻을 확인한다.

  6. Nesterov 모멘텀

    예정

    Nesterov 모멘텀은 왜 수렴 조건이 모멘텀과 다른가

  7. AdamW

    예정

    가중치 감쇠를 그래디언트와 떼어 내면 무엇이 달라지나

  8. 최댓값과 argmax

    예정

    가장 큰 값과 그 값을 내는 자리는 어떻게 다른가

  9. 조건수

    예정

    방향마다 휘어짐이 다르면 경사하강법은 왜 느려지나

  10. 볼록성과 국소 최솟값

    예정

    출발점에 따라 도착하는 최솟값이 왜 달라지나

  11. RMSProp

    예정

    그래디언트 제곱의 평균으로 나누면 무엇이 달라지나

  12. 학습률 스케줄

    #536완성

    SGD 학습률은 왜 점점 줄이나

    학습률 스케줄(learning rate schedule)은 걸음마다 학습률을 바꾸는 규칙이다. 샘플 넷에서 복원 추출로 하나씩 뽑는 SGD를 0.1로 고정하면 100걸음 뒤 손실이 최솟값보다 평균 5.11 높고, 50걸음째 0.01로 낮추면 0.31 높다. 감쇠·워밍업·배치를 본다.

  13. 배치 크기

    예정

    배치 사이즈는 얼마로 정하고 학습률과 어떻게 함께 바꾸나