최적화미니배치 SGD#020

미니배치 SGD

Mini-batch SGD

미니배치 SGD(확률적 경사하강법)는 전체 대신 샘플 일부의 평균 그래디언트로 갱신한다. 샘플 넷 중 둘을 뽑으면 전체 그래디언트 (−4.4, 15) 대신 (−2.4, 15)가 나온다. 배치 사이즈·에포크·이터레이션의 차이와 잡음의 제곱 평균이 배치 크기에 거의 반비례하는 규칙을 본다.

주인공 기호
B
읽는 시간
약 13분
선수 개념
경사하강법역전파

직관 — 몇 사람에게만 묻고 간 맞추기

직관

급식의 간을 맞출 때 매번 전교생에게 물어볼 수는 없다. 몇 명을 무작위로 골라, 소금을 조금 더 넣으면 불만 점수가 얼마나 변하는지 물어 평균 낸다. 평균이 늘어난다는 쪽이면 소금을 조금 줄이고, 줄어든다는 쪽이면 조금 늘린다.

소금의 양은 파라미터, 한 사람의 불만 점수는 샘플 손실, 그 변화율은 샘플별 그래디언트(기울기)다. 뽑힌 사람들이 미니배치이고, 그 수가 배치 크기(batch size, 배치 사이즈)다. 전교생의 평균 불만 점수는 전체 손실에 대응한다. AI 학습 데이터는 샘플이 아주 많아서, 걸음마다 전부 보면 한 걸음이 너무 비싸다.

미니배치 SGD는 일부 샘플의 평균 그래디언트로 갱신한다

미니배치 SGD는 전체 데이터 대신 일부 샘플(미니배치)의 평균 그래디언트로 파라미터를 갱신하는 방법이다. SGD는 stochastic gradient descent, 곧 확률적 경사하강법의 약자다. '확률적 경사 하강법'으로 띄어 쓰거나 미니배치 경사하강법이라고도 부른다.

샘플 하나의 손실을 먼저 정하고, 전체 손실은 그 평균으로 정의한다. 시그마는 지정한 샘플들의 값을 더하라는 표시다.

L(θ)=1N∑i=1Nℓi(θ)(1)L(\theta)=\frac1N\sum_{i=1}^{N}\ell_i(\theta) \tag{1}

경사하강법의 갱신식에서 전체 그래디언트 자리에 배치의 평균 그래디언트를 넣는다.

gBt(θt)=1B∑i∈Bt∇θℓi(θt),θt+1=θt−η gBt(θt)(2)\begin{gathered} g_{\mathcal B_t}(\theta_t) =\frac1B\sum_{i\in\mathcal B_t}\nabla_\theta\ell_i(\theta_t),\\ \theta_{t+1}=\theta_t-\eta\,g_{\mathcal B_t}(\theta_t) \end{gathered} \tag{2}
정의
기호이름원어뜻
θt\theta_t파라미터parametertt번 갱신한 뒤의 위치
tt반복 횟수iteration지금까지 수행한 갱신 수
N,iN,i샘플 수·번호sample count / index전체 데이터의 크기와 샘플의 번호. 행렬 페이지의 NN(배치의 샘플 수)은 여기의 BB다
ℓi,L\ell_i,L샘플 손실·전체 손실per-example loss / full loss한 샘플의 손실과 전체 샘플의 평균 손실
∇θℓi\nabla_\theta\ell_i샘플별 그래디언트per-example gradient샘플 손실의 편미분을 모은 벡터
Bt,B\mathcal B_t,B미니배치·배치 크기mini-batch / batch size이번 걸음에 고른 샘플 번호의 집합과 그 개수. BB가 이 페이지의 주인공
gBtg_{\mathcal B_t}배치 그래디언트batch gradient같은 위치에서 구한 샘플별 그래디언트의 평균
η\eta학습률learning rate그래디언트에 곱해 걸음을 정하는 양의 배율

이 페이지는 샘플 손실이 미분 가능하고, 다른 샘플이나 배치 통계에 의존하지 않는 경우를 다룬다. 이때 평균을 미분한 값은 미분값들의 평균과 같다. 그래서 배치 평균 손실을 역전파로 한 번 미분하면 식 (2)의 배치 그래디언트가 나온다.

배치·확률적(SGD)·미니배치 경사하강법은 무엇이 다른가

세 방식은 한 걸음에 쓰는 샘플 수만 다르다.

이름한 걸음에 쓰는 샘플샘플이 넷인 이 페이지의 예시
배치 경사하강법전체 NN개B=4B=4
확률적 경사하강법(좁은 뜻의 SGD)1개B=1B=1
미니배치 경사하강법일부, 1<B<N1<B<NB=2B=2

'배치'는 두 뜻으로 쓰인다. 배치 경사하강법의 배치는 전체 데이터이고, 배치 크기의 배치는 한 걸음에 쓰는 묶음이다. 실무에서는 미니배치 방식도 흔히 SGD라 부른다. 모멘텀을 섞는지는 별도의 선택이다.

SGD는 왜 '확률적' 경사하강법이라고 불러?

샘플을 무작위로 골라, 같은 위치에서도 그래디언트가 뽑기마다 달라지기 때문이다. 이 페이지의 출발점에서 샘플 넷 중 둘을 뽑으면 가로 성분이 −2.4, −4.4, −6.4 가운데 하나로 나온다. 여섯 가지 뽑기를 평균하면 전체 그래디언트 (−4.4,15)(−4.4,15)와 같다.

샘플 넷 중 둘을 고르면 그래디언트가 어떻게 달라지나

같은 위치에서도 어떤 샘플을 고르느냐에 따라 배치 그래디언트가 달라진다. 샘플 넷 중 1번과 2번을 고르면 가로 성분이 −2.4이고, 넷 전체의 평균은 −4.4다.

예시는 경사하강법 페이지의 그릇과 출발점 θ0=(−4.4,1.5)\theta_0=(-4.4,1.5)를 그대로 쓴다. 다만 샘플 넷이 저마다 다른 목표 좌표 (ai,bi)(a_i,b_i)를 선호하게 해 손실 넷을 만든다.

정의
기호이름원어뜻
x,yx,y좌표coordinates파라미터 θ\theta의 두 성분. 경사하강법 페이지의 좌표이고 입력 데이터가 아니다
ai,bia_i,b_i목표 좌표target coordinates샘플 ii가 선호하는 위치. 학습 중 고정한다
gx,gyg_x,g_y그래디언트 성분gradient components그림 1의 가로·세로축
ℓi(x,y)=12(x−ai)2+5(y−bi)2(3)\ell_i(x,y)=\tfrac12(x-a_i)^2+5(y-b_i)^2 \tag{3} ∇ℓi=(x−ai10(y−bi))(4)\nabla\ell_i=\begin{pmatrix}x-a_i\\10(y-b_i)\end{pmatrix} \tag{4}
샘플 번호목표 좌표출발점에서의 그래디언트
1(−2,−1)(−2,−1)(−2.4,25)(−2.4,25)
2(−2,1)(−2,1)(−2.4,5)(−2.4,5)
3(2,−1)(2,−1)(−6.4,25)(−6.4,25)
4(2,1)(2,1)(−6.4,5)(−6.4,5)

1번 샘플이면 식 (4)에 넣어 (−4.4+2, 10×(1.5+1))=(−2.4,25)(-4.4+2,\ 10\times(1.5+1))=(-2.4,25)다. 목표 좌표의 평균이 (0,0)(0,0)이어서, 넷을 평균한 전체 손실은 익숙한 그릇이 된다.

L(x,y)=12(x2+10y2)+7,∇L=(x, 10y)(5)\begin{gathered} L(x,y)=\tfrac12(x^2+10y^2)+7,\\ \nabla L=(x,\ 10y) \end{gathered} \tag{5}

상수 7은 목표 좌표 제곱의 평균(가로 4, 세로 1)에서 온 (4+10×1)/2(4+10\times1)/2이고, 그래디언트를 바꾸지 않는다. 출발점의 전체 그래디언트는 (−4.4,15)(-4.4,15)다. 이제 1번과 2번만으로 학습률 0.1의 한 걸음을 간다.

gB0=12(−2.4−2.425+5)=(−2.415)(6)g_{\mathcal B_0}=\tfrac12\begin{pmatrix}-2.4-2.4\\25+5\end{pmatrix} =\begin{pmatrix}-2.4\\15\end{pmatrix} \tag{6} θ1=θ0−0.1 gB0=(−4.16, 0)(7)\theta_1=\theta_0-0.1\,g_{\mathcal B_0}=(-4.16,\ 0) \tag{7}

전체 손실은 27.93에서 15.6528로 줄어든다. 전체 그래디언트로 한 걸음 가면 (−3.96,0)(−3.96,0)이고 손실은 14.8408이어서, 이번 한 걸음은 전체 쪽이 더 줄였다. 그림 1은 둘을 고르는 여섯 조합의 배치 그래디언트를 한 평면에 놓은 것이다. 1·4번과 2·3번은 전체 그래디언트와 같고, 나머지 넷은 다르다.

θ_0=(-4.4,1.5)에서 B=2인 여섯 조합의 배치 그래디언트. 1·2번은 (−2.4,15), 1·3번은 (−4.4,25), 2·4번은 (−4.4,5), 3·4번은 (−6.4,15)다. 1·4번과 2·3번은 전체 그래디언트 (−4.4,15)에 겹친다.
그림 1 θ0=(−4.4,1.5)\theta_0=(-4.4,1.5)에서 B=2B=2인 여섯 조합의 배치 그래디언트. 1·2번은 (−2.4,15)(−2.4,15), 1·3번은 (−4.4,25)(−4.4,25), 2·4번은 (−4.4,5)(−4.4,5), 3·4번은 (−6.4,15)(−6.4,15)다. 1·4번과 2·3번은 전체 그래디언트 (−4.4,15)(−4.4,15)에 겹친다. figures/batch_vectors.py

미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나

한 걸음에 계산할 샘플 수를 줄여, 같은 계산량으로 더 자주 갱신하기 위해서다. 샘플 그래디언트 네 개를 계산하는 같은 비용으로, 전체 한 걸음은 손실 14.84에 닿고 1·2번 뒤 3·4번의 두 걸음은 약 13.28에 닿는다.

순서가 1·3번 뒤 2·4번이면 약 18.35로 전체 한 걸음보다 나쁘다. 자주 걷는 이득과 잡음의 손해가 함께 온다.

배치 그래디언트는 전체 그래디언트의 추정이다. 고정된 위치에서 여섯 쌍을 같은 확률로 고르면 각 샘플이 세 쌍에 들어가므로, 여섯 배치 그래디언트의 평균은 전체 그래디언트와 같다. 이렇게 평균이 참값과 같은 추정량을 불편 추정량(不偏, 치우치지 않은 추정량)이라 한다. 표본평균의 분포에서 배우는 '표본평균의 평균은 모평균과 같다'가 이것이다.

배치 하나의 값은 참값에서 벗어난다. 배치 그래디언트에서 전체 그래디언트를 뺀 차이를 그래디언트 잡음(노이즈)이라 한다. 출발점에서 1·2번 배치의 잡음은 (2,0)(2,0), 1·3번 배치는 (0,10)(0,10)이다.

미니배치 손실은 왜 합이 아니라 평균을 써?

평균을 쓰면 배치 크기를 바꿔도 그래디언트가 샘플 수에 비례해 커지지 않기 때문이다. 출발점에서 1·2번 샘플 손실의 합을 미분하면 (−4.8,30)(−4.8,30)으로, 평균 그래디언트 (−2.4,15)(−2.4,15)의 두 배다. 합을 쓰려면 학습률을 그만큼 줄여 맞춘다.

배치 사이즈를 키우면 그래디언트 잡음은 얼마나 줄어드나

복원 추출이면 잡음의 제곱 평균은 배치 사이즈(배치 크기) BB에 정확히 반비례하고, 데이터가 배치보다 훨씬 크면 비복원 추출도 거의 반비례한다. 샘플이 넷뿐인 이 예시는 비복원이라 더 빨리 줄어, B=1,2,3,4B=1,2,3,4일 때 104, 약 34.67, 약 11.56, 0이다.

정의
기호이름원어뜻
SBS_B잡음의 크기mean squared gradient error크기 BB인 모든 배치에서 잡음의 제곱 길이를 평균한 값
σ2\sigma^2샘플 하나의 잡음per-example noiseS1S_1. 샘플별 그래디언트가 전체 그래디언트에서 벗어난 제곱 길이의 평균

한 개씩 뽑으면 샘플 넷 모두 전체 그래디언트에서 (±2,±10)(\pm2,\pm10)만큼 떨어져 있어 σ2=22+102=104\sigma^2=2^2+10^2=104다. 전체 NN개에서 BB개를 중복 없이 뽑는 비복원 추출이면 다음과 같다.

SB=σ2B⋅N−BN−1(8)S_B=\frac{\sigma^2}{B}\cdot\frac{N-B}{N-1} \tag{8}

B=2B=2면 1042×23≈34.67\tfrac{104}{2}\times\tfrac23\approx34.67, B=3B=3이면 1043×13≈11.56\tfrac{104}{3}\times\tfrac13\approx11.56이다. 둘씩 고른 여섯 배치의 제곱 거리 4, 100, 0, 0, 100, 4를 직접 평균해도 208/6≈34.67208/6\approx34.67이다. 같은 샘플을 다시 뽑을 수 있는 복원 추출이면 뒤 인자가 없어 σ2/B\sigma^2/B이고, B=2B=2에서 52다. 교과서에서 표본평균의 분산을 σ2/n\sigma^2/n으로 쓰는 것과 같은 꼴이다.

NN이 BB보다 훨씬 크면 뒤 인자가 1에 가까워 SB≈σ2/BS_B\approx\sigma^2/B다. 샘플 60,000개에 배치 크기 100이면 뒤 인자는 약 0.998이다. 이때 잡음의 길이는 SBS_B의 제곱근이라, 길이를 절반으로 줄이려면 배치를 4배로 키워야 한다.

그림 2는 이 예시의 네 값을 비교한다. 위치를 고정하고 가능한 배치를 모두 견준 값이며, 학습으로 위치가 바뀌면 σ2\sigma^2도 달라진다.

같은 출발점에서 중복 없이 뽑는 모든 배치를 열거한 잡음 제곱 거리의 평균 S_B. 배치 크기 1은 104, 2는 104/3≈34.67, 3은 104/9≈11.56, 전체인 4는 0이다.
그림 2 같은 출발점에서 중복 없이 뽑는 모든 배치를 열거한 잡음 제곱 거리의 평균 SBS_B. 배치 크기 1은 104, 2는 104/3≈34.67104/3\approx34.67, 3은 104/9≈11.56104/9\approx11.56, 전체인 4는 0이다. figures/batch_noise.py
핵심

미니배치 SGD는 일부 샘플의 평균 그래디언트로 갱신한다. 배치 크기는 한 걸음의 계산량과 그래디언트 잡음을 바꾸고, 에포크(에폭)는 데이터를 몇 바퀴 도는지를 센다.

배치 사이즈가 크면 뭐가 좋고 뭐가 나빠?

배치 사이즈가 크면 그래디언트 잡음이 줄지만 한 걸음에 계산할 샘플이 그만큼 늘어난다. 이 예시에서 배치 사이즈를 1, 2, 4로 키우면 잡음은 104, 34.67, 0으로 줄고 한 걸음의 샘플 수는 1, 2, 4로 는다. 같은 계산량이면 작은 배치로 더 자주 걷는 쪽이 나을 수도 있다('미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나' §).

미니배치 SGD에서 손실이 한 번 올라도 틀린 것이 아니다

배치 손실을 줄이는 걸음이 전체 손실은 늘릴 수 있기 때문이다. 전체 손실의 최솟점인 원점에서도 1·2번 배치의 그래디언트는 (2,0)(2,0)으로 0이 아니다.

학습률 0.1로 움직이면 (−0.2,0)(−0.2,0)이 되어 전체 손실이 7에서 7.02로 오른다. 그 두 샘플의 평균 손실은 7에서 6.62로 줄어든다. 그림 3은 이 두 손실을 같은 가로축에서 보여 준다.

y=0에서 전체 손실 L과 1·2번 배치의 평균 손실 ℓ_1,2를 비교한다. 원점에서 해당 배치 그래디언트 (2,0)로 x=-0.2까지 갱신하면 전체 손실은 7→7.02, 배치 손실은 7→6.62가 된다.
그림 3 y=0y=0에서 전체 손실 LL과 1·2번 배치의 평균 손실 ℓ{1,2}\ell_{\{1,2\}}를 비교한다. 원점에서 해당 배치 그래디언트 (2,0)(2,0)로 x=−0.2x=-0.2까지 갱신하면 전체 손실은 7→7.027\to7.02, 배치 손실은 7→6.627\to6.62가 된다. figures/loss_step.py

배치 사이즈·에포크(에폭)·이터레이션(스텝)은 무엇이 다른가

배치 사이즈는 한 걸음에 쓰는 샘플 수, 이터레이션(iteration, 스텝)은 파라미터 갱신 한 번, 에포크(epoch, 에폭)는 데이터 전체를 한 바퀴 도는 단위다. 한 에포크의 스텝 수는 N/BN/B를 올림한 값이어서, 이 예시는 4/2=24/2=2번이고 샘플 60,000개에 배치 크기 100이면 600번이다.

실무에서는 에포크마다 데이터 순서를 섞은 뒤 차례로 잘라 배치를 만든다. 이를 무작위 재배열이라 한다. 그러면 한 에포크 안에서 같은 샘플이 다시 나오지 않는다. 앞에서 여섯 쌍을 걸음마다 새로 뽑은 것과는 다른 뽑기다. 다음 배치는 이미 바뀐 위치에서 그래디언트를 다시 계산한다.

그림 4는 샘플 넷을 에포크마다 섞어 둘씩 자른 한 예다. 세 에포크면 B0\mathcal B_0부터 B5\mathcal B_5까지 여섯 번 갱신한다. 첫 에포크의 1·3번 뒤 2·4번은 앞에서 전체 손실 18.35를 낸 순서다.

샘플 넷을 에포크마다 섞은 순서를 둘씩 잘라 만든 배치. 세 줄이 에포크 1·2·3이고, 한 에포크에 mathcal B_t가 두 개라 세 에포크면 여섯 번 갱신한다. 한 줄 안에서는 같은 번호가 다시 나오지 않는다.
그림 4 샘플 넷을 에포크마다 섞은 순서를 둘씩 잘라 만든 배치. 세 줄이 에포크 1·2·3이고, 한 에포크에 Bt\mathcal B_t가 두 개라 세 에포크면 여섯 번 갱신한다. 한 줄 안에서는 같은 번호가 다시 나오지 않는다. figures/epoch_batches.py

에포크마다 데이터를 왜 섞어(셔플)?

정렬된 순서 그대로 자르면 배치가 한쪽으로 치우치기 때문이다. 이 예시를 번호순으로 둘씩 자르면 1·2번 배치의 잡음은 (2,0)(2,0), 3·4번은 (−2,0)(−2,0)으로 둘 다 가로로만 벗어난다. 순서를 섞으면 1·4번이나 2·3번처럼 전체 그래디언트와 같은 배치도 나온다.

미니배치 SGD는 왜 바닥 근처에서 계속 흔들리나

고정 학습률에서는 걸음마다 새 배치의 잡음이 들어와, 그 흔들림이 저절로 사라지지 않기 때문이다. 학습률 0.1인 이 예시에서는 최솟점인 원점에서 출발해도, 세 에포크 내내 배치 크기 1의 yy가 1과 −1을 오간다.

배치 Bt\mathcal B_t에 든 샘플의 세로 목표 bib_i를 평균한 값을 bˉBt\bar b_{\mathcal B_t}라 하자. 식 (2)를 세로 성분에 쓰면 다음과 같다.

yt+1=(1−10η) yt+10η bˉBt(9)y_{t+1}=(1-10\eta)\,y_t+10\eta\,\bar b_{\mathcal B_t} \tag{9}

η=0.1\eta=0.1이면 앞 계수가 0이라, yy는 한 걸음 만에 그 배치의 bˉ\bar b로 옮겨 간다. 그림 5는 원점에서 출발해 그림 4의 순서로 세 에포크를 걸은 경로다. 배치 2의 yy도 −1, 0, 1 사이를 오가고, 전체 배치만 원점에 머문다. y=±1y=\pm1인 곳의 전체 손실은 최솟값 7보다 5쯤 큰 12 안팎이다.

학습률 0.1, 최솟점인 원점에서 출발해 그림 4의 순서로 세 에포크 동안 걸은 경로. 배치 크기 4는 3걸음, 2는 6걸음, 1은 12걸음이다. 배치 4는 원점에 머물고, 배치 2의 y는 -1, 0, 1, 배치 1의 y는 ±1 사이를 오간다.
그림 5 학습률 0.1, 최솟점인 원점에서 출발해 그림 4의 순서로 세 에포크 동안 걸은 경로. 배치 크기 4는 3걸음, 2는 6걸음, 1은 12걸음이다. 배치 4는 원점에 머물고, 배치 2의 yy는 −1,0,1-1, 0, 1, 배치 1의 yy는 ±1\pm1 사이를 오간다. figures/sgd_paths.py

바닥에 더 가까이 가려면 학습률을 줄여 가거나 배치를 키운다. η=0.05\eta=0.05면 식 (9)가 yt+1=0.5 yt+0.5 bˉBty_{t+1}=0.5\,y_t+0.5\,\bar b_{\mathcal B_t}가 되어, 지난 위치와 새 배치의 목표를 반씩 섞는다.

배치 크기 1에서 샘플을 걸음마다 새로 뽑으면(복원 추출) ±1인 bˉ\bar b의 분산은 1이다. 오래 걸어 yy의 분산이 VV로 안정되면 식 (9)의 양변 분산이 같아 V=0.25V+0.25V=0.25V+0.25, 곧 V=1/3V=1/3이다. η=0.1\eta=0.1에서는 y=bˉy=\bar b라 분산이 1이므로, 학습률을 반으로 줄이면 흔들림의 분산이 1에서 1/3로 준다. SGD에서 학습률을 점점 줄이는 일정(스케줄)을 쓰는 까닭이 이것이다. 줄이는 모양(계단·코사인)과 워밍업, 배치 크기에 맞춘 학습률 조정은 학습률 스케줄에서 다룬다.

모멘텀과 Adam은 미니배치의 그래디언트 잡음을 어떻게 받나

모멘텀은 지난 그래디언트를 섞어, 부호가 바뀌는 잡음의 일부를 상쇄한다. Adam이 쓰는 그래디언트 제곱의 평균에는 평균 방향의 크기와 잡음이 함께 들어간다.

출발점에서 여섯 쌍을 같은 확률로 고르면 세로 성분 gyg_y의 평균은 15다. 제곱의 평균은 평균의 제곱에 분산을 더한 값이다. 고등학교 통계의 분산 공식을 옮긴 것이다. 아래 E[⋅]\mathrm{E}[\cdot]는 여섯 배치에 대한 평균이다.

E[gy2]=4⋅152+252+526=152+1003=7753(10)\begin{gathered} \mathrm{E}[g_y^2]=\frac{4\cdot15^2+25^2+5^2}{6}\\ =15^2+\tfrac{100}{3}=\tfrac{775}{3} \end{gathered} \tag{10}

775/3≈258.33775/3\approx258.33은 평균의 제곱 225보다 분산 100/3100/3만큼 크다. 그래서 잡음이 큰 방향일수록 Adam이 나누는 값이 커져 걸음이 작아진다.

모멘텀이 잡음을 평균 내는 작은 계산

기호: ete_t는 세로 잡음, ztz_t는 잡음의 지수 평균, β\beta는 평균 계수다. 파라미터를 출발점에 고정하고 잡음만 떼어 보자. 세로 성분에서 전체 값 15를 뺀 것이 ete_t이고, β=0.5\beta=0.5로 zt=0.5zt−1+0.5etz_t=0.5z_{t-1}+0.5e_t를 계산한다.

1·3번, 2·4번 배치가 차례로 오면 e1=10,e2=−10e_1=10,e_2=-10이다. z0=0z_0=0에서 z1=5z_1=5, z2=−2.5z_2=-2.5가 되어 반대 부호의 잡음이 일부 상쇄된다. 모멘텀 페이지의 속도 vtv_t는 그래디언트를 (1−β)(1-\beta)로 줄이지 않고 쌓은 합이다. 그 속도에서 잡음이 기여한 부분에 (1−β)(1-\beta)를 곱하면 위의 ztz_t가 된다. 잡음이 같은 방향으로 오래 이어지면 상쇄되지 않고 쌓인다.

미니배치 SGD의 흔한 오해

  • 배치를 2배로 키우고 학습률도 2배로 올리면 언제나 같은 학습이 된다 — 1·2번 뒤 3·4번을 학습률 0.1로 두 걸음 가면 손실이 13.28인데, 배치 4·학습률 0.2로 한 걸음 가면 yy가 1.5에서 −1.5로 뒤집혀 24.45다. 이 경험칙(선형 스케일링 규칙)은 그 사이에 그래디언트가 거의 변하지 않는다고 가정하고, 0.2는 경사하강법의 발산 경계다.
  • 에포크 하나는 갱신 한 번이다 — 샘플 넷을 둘씩 나누면 한 에포크에 두 번 갱신한다.

미니배치 SGD는 AI에서 어디에 쓰이나

학습 루프에서 미니배치는 DataLoader가 배치를 하나씩 내주는 for 줄이고, 루프 전체는 경사하강법에 있다. 그 배치의 평균 손실을 역전파하면 .grad에 배치 그래디언트가 담기고, SGD가 그 값으로 갱신한다.

이 페이지PyTorch에서의 대응
BBDataLoader(dataset, batch_size=2, shuffle=True)의 batch_size. 기본값은 batch_size=1, shuffle=False, drop_last=False
Bt\mathcal B_t로더가 이번에 반환한 샘플 묶음
배치 평균 손실per_sample_loss.mean()
gBtg_{\mathcal B_t}optimizer.zero_grad() 후 loss.backward()가 채운 .grad
η\etaSGD(params, lr=0.1, momentum=0, weight_decay=0)의 lr
식 (2)의 갱신optimizer.step()

MSELoss(reduction='mean')은 배치 축만이 아니라 모든 원소를 평균 낸다. 이 예시를 그대로 만들려면 샘플마다 식 (3)의 두 좌표 손실을 먼저 더하고 샘플 축으로 평균 낸다. 모든 원소로 나누면 좌표가 둘인 이 예시에서는 손실과 그래디언트가 절반이 된다.

마지막 미니배치가 작으면 평균은 무엇으로 나눠?

그 배치에 실제로 들어온 샘플 수로 나눈다. 샘플 넷을 크기 3으로 나누면 마지막 배치는 한 개라 1로 나눈다. 고정 크기 3으로 나누면 그 그래디언트가 올바른 평균의 1/3이 된다. drop_last=True는 이 작은 마지막 배치를 버리는 옵션이다.

작은 배치의 그래디언트를 누적하면 큰 배치와 같아?

같은 파라미터에서 구해 샘플 수에 맞춰 가중하면 같다. 출발점에서 1·2번과 3·4번 배치의 그래디언트를 반씩 더하면 전체 그래디언트 (−4.4,15)(−4.4,15)다. 중간에 step()을 하거나, BatchNorm처럼 배치 통계에 의존하는 층이 있으면 같지 않다.

코드로 확인하기

NumPy 코드는 샘플별 그래디언트를 직접 계산한 뒤 샘플 축으로 평균 낸다. 배치 크기와 샘플 조합을 바꾸며 배치 그래디언트, 한 걸음 뒤 위치, 두 손실의 변화를 비교하자. 출발점을 원점으로 바꾸면 전체 손실이 오르는 걸음을 직접 볼 수 있다.

수식
gB=1B∑i∈B∇ℓi(θ),θnew=θ−η gB.(2)\begin{gathered} \sym{grad}{g_{\mathcal B}} =\frac1{\sym{batch_size}{B}}\sum_{i\in\mathcal B}\nabla\ell_i(\theta),\\ \theta_{\mathrm{new}}=\theta-\sym{eta}{\eta}\,\sym{grad}{g_{\mathcal B}}. \end{gathered} \tag{2}
코드 figures/minibatch_step.py
import numpy as np

theta = np.array([-4.4, 1.5])
targets = np.array([[-2., -1.], [-2., 1.], [2., -1.], [2., 1.]])
scale = np.array([1., 10.])
indices = [0, 1]  # 샘플 1·2번. NumPy 번호는 0부터
batch_size = len(indices)
eta = 0.1
per_grad = (theta - targets[indices]) * scale
grad = per_grad.sum(axis=0) / batch_size  # 식 (2), 식 (6)
new_theta = theta - eta * grad  # 식 (2), 식 (7)
loss = lambda p: np.mean(np.sum((p - targets)**2 * scale, axis=1) / 2)
print("B =", batch_size, "g =", grad)
print("theta_new =", new_theta)
print("L:", round(loss(theta), 4), "->", round(loss(new_theta), 4))
$ python minibatch_step.py
B = 2 g = [-2.4 15. ]
theta_new = [-4.16  0.  ]
L: 27.93 -> 15.6528

직접 해보기

  1. 출발점에서 1·3번을 골라 학습률 0.1로 움직이면 위치와 전체 손실은?
답

그래디언트는 (−4.4,25)(−4.4,25)이므로 위치는 (−3.96,−1)(−3.96,−1)이다. 전체 손실은 (3.962+10)/2+7=19.8408(3.96^2+10)/2+7=19.8408이다. 기본 조합 1·2번과 달리 세로로는 바닥 0을 지나쳐 −1까지 간다.

  1. 출발점에서 1·4번과 2·3번 배치의 그래디언트가 같은 이유는?
답

두 배치 모두 목표 좌표의 평균이 (0,0)(0,0)이다. 배치 그래디언트는 (x,10y)=(−4.4,15)(x,10y)=(−4.4,15)로 전체 그래디언트와 같다. 서로 다른 샘플 조합도 같은 평균을 만들 수 있다.

  1. 1·2번, 3·4번 순서로 매번 갱신하면 한 에포크 뒤 위치와 전체 손실은?
답

첫 갱신 뒤 (−4.16,0)(−4.16,0)에서 그래디언트를 다시 계산한다. 3·4번 평균은 (−6.16,0)(−6.16,0)이므로 다음 위치는 (−3.544,0)(−3.544,0)이고, 전체 손실은 3.5442/2+7≈13.283.544^2/2+7\approx13.28이다. 출발점에서 구한 두 배치 그래디언트를 평균해 한 걸음 간 (−3.96,0)(−3.96,0)과 다르다.

  1. 샘플 60,000개를 배치 크기 256으로 나누면 한 에포크는 몇 스텝인가? drop_last=True면 몇 스텝이고, 에포크마다 몇 샘플을 버리나?
답

60,000/256=234.37560{,}000/256=234.375라 올림해 235스텝이다. 마지막 배치에는 60,000−234×256=9660{,}000-234\times256=96개만 들어간다. drop_last=True면 이 96개를 버려 234스텝이다. 순서를 섞으므로 버리는 샘플은 에포크마다 다르다.

  1. 학습률을 0.05로 줄여 출발점에서 1·2번으로 한 걸음 가면 위치와 전체 손실은? 세로 성분은 식 (9)로도 확인하라.
답

배치 그래디언트는 그대로 (−2.4,15)(−2.4,15)라 위치는 (−4.4+0.12, 1.5−0.75)=(−4.28,0.75)(−4.4+0.12,\ 1.5−0.75)=(−4.28,0.75)다. 1·2번의 bˉ\bar b는 0이므로 식 (9)로도 0.5×1.5+0.5×0=0.750.5\times1.5+0.5\times0=0.75다. 전체 손실은 4.282/2+5×0.752+7≈18.974.28^2/2+5\times0.75^2+7\approx18.97이다. 학습률 0.1의 15.6528보다 덜 줄었다. 주로 yy가 배치 목표 0 쪽으로 절반만 옮겨 갔기 때문이다.

더 읽기

  • Deep Learning, 8. Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.1.3·8.3.1·8.3.2. ‘미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나’의 계산량·표본 선택과 ‘배치 사이즈를 키우면 그래디언트 잡음은 얼마나 줄어드나’의 제곱근 규칙, 모멘텀의 가중 평균을 더 읽을 수 있다. 8.3.1은 최솟점에서도 사라지지 않는 잡음 때문에 학습률을 점점 줄여야 한다고 적는다. ‘미니배치 SGD는 왜 바닥 근처에서 계속 흔들리나’가 기댄다.
  • torch.utils.data — PyTorch 공식 문서, 수시 갱신. ‘배치 사이즈·에포크(에폭)·이터레이션(스텝)은 무엇이 다른가’와 대응표의 batch_size·shuffle·drop_last 기본값을 확인한다.
  • torch.optim.SGD — PyTorch 공식 문서, 수시 갱신. ‘미니배치 SGD는 AI에서 어디에 쓰이나’의 학습률·모멘텀 인자와 갱신 순서를 확인한다.
  • MSELoss — PyTorch 공식 문서, 수시 갱신. ‘미니배치 손실은 왜 합이 아니라 평균을 써?’와 모든 원소를 평균 내는 동작을 확인한다.
  • Adam: A Method for Stochastic Optimization — Kingma·Ba, ICLR 2015. 알고리즘 1·2.1절·3절. ‘모멘텀과 Adam은 미니배치의 그래디언트 잡음을 어떻게 받나’의 제곱 그래디언트 이동 평균과 초기화 보정을 설명한다. 2.1절은 1차·2차 모멘트의 비를 신호 대 잡음비로 읽어, 그 비가 작으면 걸음이 0에 가까워진다고 적는다. 식 (10)은 이 페이지의 여섯 배치를 직접 열거한 계산이다.
  • Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — Goyal 외, 2017. 2.1절이 배치를 kk배로 키우면 학습률도 kk배로 하는 선형 스케일링 규칙을 내놓고, kk걸음 동안 그래디언트가 거의 변하지 않는다는 강한 가정에서 그 이유를 설명한다. 2.2절은 학습 초반에 이 규칙이 깨지는 문제를 워밍업으로 다룬다. ‘미니배치 SGD의 흔한 오해’의 첫 줄이 기댄다.

영상 노트

영상 노트
  • 00:00 몇 사람에게만 묻고 간을 맞추는 직관
  • 00:40 식 (1)의 전체 평균과 식 (2)의 배치 평균
  • 01:30 배치·확률적·미니배치 경사하강법 비교표
  • 02:10 식 (3)~(5)의 네 샘플과 그림 1의 여섯 조합
  • 03:10 식 (6)·(7)로 배치 하나의 갱신 계산
  • 04:00 같은 계산량의 손실 14.84, 13.28, 18.35 비교
  • 04:50 식 (8)과 그림 2의 배치 크기와 잡음
  • 05:50 그림 3의 전체 손실이 오르는 한 걸음
  • 06:40 배치 사이즈·에포크·이터레이션과 그림 4의 셔플
  • 07:30 식 (9)와 그림 5 — 원점에서 출발해도 고정 학습률에서 흔들림이 남는 이유
  • 08:30 식 (10)의 제곱 평균과 모멘텀의 잡음 상쇄
  • 09:20 배치와 학습률을 함께 2배로 올리면 생기는 일(13.28과 24.45)
  • 10:00 코드랩에서 배치 선택과 원점의 걸음 비교

지도에서의 위치

완성예정기법이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-13 · 에이전트 초안 (수식 4, 그림 3, 코드랩 1)
  2. 2026-11-13 · 독자 패널 리뷰 반영 — 본문 낱말을 그래디언트로 통일, 배치 사이즈·에폭·이터레이션과 세 가지 경사하강법 비교를 § 제목으로, 잡음이 줄어드는 규칙을 식으로 추가(그림 2에 배치 크기 3), 같은 계산량의 손실 비교 숫자 추가, 수식을 단계별로 나눠 번호 다시 매김
  3. 2026-11-17 · 전수 검수 반영 — 잡음의 반비례 규칙을 복원·비복원으로 나눠 바로잡고 비복원 추출 링크를 모집단과 표본으로 고침, 에포크마다 섞은 배치 도식과 최솟점에서 출발해도 흔들리는 경로 절(식 9, 학습률을 줄인 분산 1→1/3) 추가, 선형 스케일링 오해, Adam 문장 정정, 해보기 5문항, 에포크 표기를 용어집에 맞춤 (에이전트 수정, 그림 3→5)
  4. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림
  5. 2026-11-17 · 새 글 ‘학습률 스케줄’로 가는 링크와 다음 개념 연결 (에이전트 수정)