직관 — 몇 사람에게만 묻고 간 맞추기
급식의 간을 맞출 때 매번 전교생에게 물어볼 수는 없다. 몇 명을 무작위로 골라, 소금을 조금 더 넣으면 불만 점수가 얼마나 변하는지 물어 평균 낸다. 평균이 늘어난다는 쪽이면 소금을 조금 줄이고, 줄어든다는 쪽이면 조금 늘린다.
소금의 양은 파라미터, 한 사람의 불만 점수는 샘플 손실, 그 변화율은 샘플별 그래디언트(기울기)다. 뽑힌 사람들이 미니배치이고, 그 수가 배치 크기(batch size, 배치 사이즈)다. 전교생의 평균 불만 점수는 전체 손실에 대응한다. AI 학습 데이터는 샘플이 아주 많아서, 걸음마다 전부 보면 한 걸음이 너무 비싸다.
미니배치 SGD는 일부 샘플의 평균 그래디언트로 갱신한다
미니배치 SGD는 전체 데이터 대신 일부 샘플(미니배치)의 평균 그래디언트로 파라미터를 갱신하는 방법이다. SGD는 stochastic gradient descent, 곧 확률적 경사하강법의 약자다. '확률적 경사 하강법'으로 띄어 쓰거나 미니배치 경사하강법이라고도 부른다.
샘플 하나의 손실을 먼저 정하고, 전체 손실은 그 평균으로 정의한다. 시그마는 지정한 샘플들의 값을 더하라는 표시다.
경사하강법의 갱신식에서 전체 그래디언트 자리에 배치의 평균 그래디언트를 넣는다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 파라미터 | parameter | 번 갱신한 뒤의 위치 | |
| 반복 횟수 | iteration | 지금까지 수행한 갱신 수 | |
| 샘플 수·번호 | sample count / index | 전체 데이터의 크기와 샘플의 번호. 행렬 페이지의 (배치의 샘플 수)은 여기의 다 | |
| 샘플 손실·전체 손실 | per-example loss / full loss | 한 샘플의 손실과 전체 샘플의 평균 손실 | |
| 샘플별 그래디언트 | per-example gradient | 샘플 손실의 편미분을 모은 벡터 | |
| 미니배치·배치 크기 | mini-batch / batch size | 이번 걸음에 고른 샘플 번호의 집합과 그 개수. 가 이 페이지의 주인공 | |
| 배치 그래디언트 | batch gradient | 같은 위치에서 구한 샘플별 그래디언트의 평균 | |
| 학습률 | learning rate | 그래디언트에 곱해 걸음을 정하는 양의 배율 |
이 페이지는 샘플 손실이 미분 가능하고, 다른 샘플이나 배치 통계에 의존하지 않는 경우를 다룬다. 이때 평균을 미분한 값은 미분값들의 평균과 같다. 그래서 배치 평균 손실을 역전파로 한 번 미분하면 식 (2)의 배치 그래디언트가 나온다.
배치·확률적(SGD)·미니배치 경사하강법은 무엇이 다른가
세 방식은 한 걸음에 쓰는 샘플 수만 다르다.
| 이름 | 한 걸음에 쓰는 샘플 | 샘플이 넷인 이 페이지의 예시 |
|---|---|---|
| 배치 경사하강법 | 전체 개 | |
| 확률적 경사하강법(좁은 뜻의 SGD) | 1개 | |
| 미니배치 경사하강법 | 일부, |
'배치'는 두 뜻으로 쓰인다. 배치 경사하강법의 배치는 전체 데이터이고, 배치 크기의 배치는 한 걸음에 쓰는 묶음이다. 실무에서는 미니배치 방식도 흔히 SGD라 부른다. 모멘텀을 섞는지는 별도의 선택이다.
SGD는 왜 '확률적' 경사하강법이라고 불러?
샘플을 무작위로 골라, 같은 위치에서도 그래디언트가 뽑기마다 달라지기 때문이다. 이 페이지의 출발점에서 샘플 넷 중 둘을 뽑으면 가로 성분이 −2.4, −4.4, −6.4 가운데 하나로 나온다. 여섯 가지 뽑기를 평균하면 전체 그래디언트 와 같다.
샘플 넷 중 둘을 고르면 그래디언트가 어떻게 달라지나
같은 위치에서도 어떤 샘플을 고르느냐에 따라 배치 그래디언트가 달라진다. 샘플 넷 중 1번과 2번을 고르면 가로 성분이 −2.4이고, 넷 전체의 평균은 −4.4다.
예시는 경사하강법 페이지의 그릇과 출발점 를 그대로 쓴다. 다만 샘플 넷이 저마다 다른 목표 좌표 를 선호하게 해 손실 넷을 만든다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 좌표 | coordinates | 파라미터 의 두 성분. 경사하강법 페이지의 좌표이고 입력 데이터가 아니다 | |
| 목표 좌표 | target coordinates | 샘플 가 선호하는 위치. 학습 중 고정한다 | |
| 그래디언트 성분 | gradient components | 그림 1의 가로·세로축 |
| 샘플 번호 | 목표 좌표 | 출발점에서의 그래디언트 |
|---|---|---|
| 1 | ||
| 2 | ||
| 3 | ||
| 4 |
1번 샘플이면 식 (4)에 넣어 다. 목표 좌표의 평균이 이어서, 넷을 평균한 전체 손실은 익숙한 그릇이 된다.
상수 7은 목표 좌표 제곱의 평균(가로 4, 세로 1)에서 온 이고, 그래디언트를 바꾸지 않는다. 출발점의 전체 그래디언트는 다. 이제 1번과 2번만으로 학습률 0.1의 한 걸음을 간다.
전체 손실은 27.93에서 15.6528로 줄어든다. 전체 그래디언트로 한 걸음 가면 이고 손실은 14.8408이어서, 이번 한 걸음은 전체 쪽이 더 줄였다. 그림 1은 둘을 고르는 여섯 조합의 배치 그래디언트를 한 평면에 놓은 것이다. 1·4번과 2·3번은 전체 그래디언트와 같고, 나머지 넷은 다르다.
figures/batch_vectors.py미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나
한 걸음에 계산할 샘플 수를 줄여, 같은 계산량으로 더 자주 갱신하기 위해서다. 샘플 그래디언트 네 개를 계산하는 같은 비용으로, 전체 한 걸음은 손실 14.84에 닿고 1·2번 뒤 3·4번의 두 걸음은 약 13.28에 닿는다.
순서가 1·3번 뒤 2·4번이면 약 18.35로 전체 한 걸음보다 나쁘다. 자주 걷는 이득과 잡음의 손해가 함께 온다.
배치 그래디언트는 전체 그래디언트의 추정이다. 고정된 위치에서 여섯 쌍을 같은 확률로 고르면 각 샘플이 세 쌍에 들어가므로, 여섯 배치 그래디언트의 평균은 전체 그래디언트와 같다. 이렇게 평균이 참값과 같은 추정량을 불편 추정량(不偏, 치우치지 않은 추정량)이라 한다. 표본평균의 분포에서 배우는 '표본평균의 평균은 모평균과 같다'가 이것이다.
배치 하나의 값은 참값에서 벗어난다. 배치 그래디언트에서 전체 그래디언트를 뺀 차이를 그래디언트 잡음(노이즈)이라 한다. 출발점에서 1·2번 배치의 잡음은 , 1·3번 배치는 이다.
미니배치 손실은 왜 합이 아니라 평균을 써?
평균을 쓰면 배치 크기를 바꿔도 그래디언트가 샘플 수에 비례해 커지지 않기 때문이다. 출발점에서 1·2번 샘플 손실의 합을 미분하면 으로, 평균 그래디언트 의 두 배다. 합을 쓰려면 학습률을 그만큼 줄여 맞춘다.
배치 사이즈를 키우면 그래디언트 잡음은 얼마나 줄어드나
복원 추출이면 잡음의 제곱 평균은 배치 사이즈(배치 크기) 에 정확히 반비례하고, 데이터가 배치보다 훨씬 크면 비복원 추출도 거의 반비례한다. 샘플이 넷뿐인 이 예시는 비복원이라 더 빨리 줄어, 일 때 104, 약 34.67, 약 11.56, 0이다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 잡음의 크기 | mean squared gradient error | 크기 인 모든 배치에서 잡음의 제곱 길이를 평균한 값 | |
| 샘플 하나의 잡음 | per-example noise | . 샘플별 그래디언트가 전체 그래디언트에서 벗어난 제곱 길이의 평균 |
한 개씩 뽑으면 샘플 넷 모두 전체 그래디언트에서 만큼 떨어져 있어 다. 전체 개에서 개를 중복 없이 뽑는 비복원 추출이면 다음과 같다.
면 , 이면 이다. 둘씩 고른 여섯 배치의 제곱 거리 4, 100, 0, 0, 100, 4를 직접 평균해도 이다. 같은 샘플을 다시 뽑을 수 있는 복원 추출이면 뒤 인자가 없어 이고, 에서 52다. 교과서에서 표본평균의 분산을 으로 쓰는 것과 같은 꼴이다.
이 보다 훨씬 크면 뒤 인자가 1에 가까워 다. 샘플 60,000개에 배치 크기 100이면 뒤 인자는 약 0.998이다. 이때 잡음의 길이는 의 제곱근이라, 길이를 절반으로 줄이려면 배치를 4배로 키워야 한다.
그림 2는 이 예시의 네 값을 비교한다. 위치를 고정하고 가능한 배치를 모두 견준 값이며, 학습으로 위치가 바뀌면 도 달라진다.
figures/batch_noise.py미니배치 SGD는 일부 샘플의 평균 그래디언트로 갱신한다. 배치 크기는 한 걸음의 계산량과 그래디언트 잡음을 바꾸고, 에포크(에폭)는 데이터를 몇 바퀴 도는지를 센다.
배치 사이즈가 크면 뭐가 좋고 뭐가 나빠?
배치 사이즈가 크면 그래디언트 잡음이 줄지만 한 걸음에 계산할 샘플이 그만큼 늘어난다. 이 예시에서 배치 사이즈를 1, 2, 4로 키우면 잡음은 104, 34.67, 0으로 줄고 한 걸음의 샘플 수는 1, 2, 4로 는다. 같은 계산량이면 작은 배치로 더 자주 걷는 쪽이 나을 수도 있다('미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나' §).
미니배치 SGD에서 손실이 한 번 올라도 틀린 것이 아니다
배치 손실을 줄이는 걸음이 전체 손실은 늘릴 수 있기 때문이다. 전체 손실의 최솟점인 원점에서도 1·2번 배치의 그래디언트는 으로 0이 아니다.
학습률 0.1로 움직이면 이 되어 전체 손실이 7에서 7.02로 오른다. 그 두 샘플의 평균 손실은 7에서 6.62로 줄어든다. 그림 3은 이 두 손실을 같은 가로축에서 보여 준다.
figures/loss_step.py배치 사이즈·에포크(에폭)·이터레이션(스텝)은 무엇이 다른가
배치 사이즈는 한 걸음에 쓰는 샘플 수, 이터레이션(iteration, 스텝)은 파라미터 갱신 한 번, 에포크(epoch, 에폭)는 데이터 전체를 한 바퀴 도는 단위다. 한 에포크의 스텝 수는 를 올림한 값이어서, 이 예시는 번이고 샘플 60,000개에 배치 크기 100이면 600번이다.
실무에서는 에포크마다 데이터 순서를 섞은 뒤 차례로 잘라 배치를 만든다. 이를 무작위 재배열이라 한다. 그러면 한 에포크 안에서 같은 샘플이 다시 나오지 않는다. 앞에서 여섯 쌍을 걸음마다 새로 뽑은 것과는 다른 뽑기다. 다음 배치는 이미 바뀐 위치에서 그래디언트를 다시 계산한다.
그림 4는 샘플 넷을 에포크마다 섞어 둘씩 자른 한 예다. 세 에포크면 부터 까지 여섯 번 갱신한다. 첫 에포크의 1·3번 뒤 2·4번은 앞에서 전체 손실 18.35를 낸 순서다.
figures/epoch_batches.py에포크마다 데이터를 왜 섞어(셔플)?
정렬된 순서 그대로 자르면 배치가 한쪽으로 치우치기 때문이다. 이 예시를 번호순으로 둘씩 자르면 1·2번 배치의 잡음은 , 3·4번은 으로 둘 다 가로로만 벗어난다. 순서를 섞으면 1·4번이나 2·3번처럼 전체 그래디언트와 같은 배치도 나온다.
미니배치 SGD는 왜 바닥 근처에서 계속 흔들리나
고정 학습률에서는 걸음마다 새 배치의 잡음이 들어와, 그 흔들림이 저절로 사라지지 않기 때문이다. 학습률 0.1인 이 예시에서는 최솟점인 원점에서 출발해도, 세 에포크 내내 배치 크기 1의 가 1과 −1을 오간다.
배치 에 든 샘플의 세로 목표 를 평균한 값을 라 하자. 식 (2)를 세로 성분에 쓰면 다음과 같다.
이면 앞 계수가 0이라, 는 한 걸음 만에 그 배치의 로 옮겨 간다. 그림 5는 원점에서 출발해 그림 4의 순서로 세 에포크를 걸은 경로다. 배치 2의 도 −1, 0, 1 사이를 오가고, 전체 배치만 원점에 머문다. 인 곳의 전체 손실은 최솟값 7보다 5쯤 큰 12 안팎이다.
figures/sgd_paths.py바닥에 더 가까이 가려면 학습률을 줄여 가거나 배치를 키운다. 면 식 (9)가 가 되어, 지난 위치와 새 배치의 목표를 반씩 섞는다.
배치 크기 1에서 샘플을 걸음마다 새로 뽑으면(복원 추출) ±1인 의 분산은 1이다. 오래 걸어 의 분산이 로 안정되면 식 (9)의 양변 분산이 같아 , 곧 이다. 에서는 라 분산이 1이므로, 학습률을 반으로 줄이면 흔들림의 분산이 1에서 1/3로 준다. SGD에서 학습률을 점점 줄이는 일정(스케줄)을 쓰는 까닭이 이것이다. 줄이는 모양(계단·코사인)과 워밍업, 배치 크기에 맞춘 학습률 조정은 학습률 스케줄에서 다룬다.
모멘텀과 Adam은 미니배치의 그래디언트 잡음을 어떻게 받나
모멘텀은 지난 그래디언트를 섞어, 부호가 바뀌는 잡음의 일부를 상쇄한다. Adam이 쓰는 그래디언트 제곱의 평균에는 평균 방향의 크기와 잡음이 함께 들어간다.
출발점에서 여섯 쌍을 같은 확률로 고르면 세로 성분 의 평균은 15다. 제곱의 평균은 평균의 제곱에 분산을 더한 값이다. 고등학교 통계의 분산 공식을 옮긴 것이다. 아래 는 여섯 배치에 대한 평균이다.
은 평균의 제곱 225보다 분산 만큼 크다. 그래서 잡음이 큰 방향일수록 Adam이 나누는 값이 커져 걸음이 작아진다.
모멘텀이 잡음을 평균 내는 작은 계산
기호: 는 세로 잡음, 는 잡음의 지수 평균, 는 평균 계수다. 파라미터를 출발점에 고정하고 잡음만 떼어 보자. 세로 성분에서 전체 값 15를 뺀 것이 이고, 로 를 계산한다.
1·3번, 2·4번 배치가 차례로 오면 이다. 에서 , 가 되어 반대 부호의 잡음이 일부 상쇄된다. 모멘텀 페이지의 속도 는 그래디언트를 로 줄이지 않고 쌓은 합이다. 그 속도에서 잡음이 기여한 부분에 를 곱하면 위의 가 된다. 잡음이 같은 방향으로 오래 이어지면 상쇄되지 않고 쌓인다.
미니배치 SGD의 흔한 오해
- 배치를 2배로 키우고 학습률도 2배로 올리면 언제나 같은 학습이 된다 — 1·2번 뒤 3·4번을 학습률 0.1로 두 걸음 가면 손실이 13.28인데, 배치 4·학습률 0.2로 한 걸음 가면 가 1.5에서 −1.5로 뒤집혀 24.45다. 이 경험칙(선형 스케일링 규칙)은 그 사이에 그래디언트가 거의 변하지 않는다고 가정하고, 0.2는 경사하강법의 발산 경계다.
- 에포크 하나는 갱신 한 번이다 — 샘플 넷을 둘씩 나누면 한 에포크에 두 번 갱신한다.
미니배치 SGD는 AI에서 어디에 쓰이나
학습 루프에서 미니배치는 DataLoader가 배치를 하나씩 내주는 for 줄이고, 루프 전체는 경사하강법에 있다.
그 배치의 평균 손실을 역전파하면 .grad에 배치 그래디언트가 담기고, SGD가 그 값으로 갱신한다.
| 이 페이지 | PyTorch에서의 대응 |
|---|---|
DataLoader(dataset, batch_size=2, shuffle=True)의 batch_size. 기본값은 batch_size=1, shuffle=False, drop_last=False | |
| 로더가 이번에 반환한 샘플 묶음 | |
| 배치 평균 손실 | per_sample_loss.mean() |
optimizer.zero_grad() 후 loss.backward()가 채운 .grad | |
SGD(params, lr=0.1, momentum=0, weight_decay=0)의 lr | |
| 식 (2)의 갱신 | optimizer.step() |
MSELoss(reduction='mean')은 배치 축만이 아니라 모든 원소를 평균 낸다.
이 예시를 그대로 만들려면 샘플마다 식 (3)의 두 좌표 손실을 먼저 더하고 샘플 축으로 평균 낸다.
모든 원소로 나누면 좌표가 둘인 이 예시에서는 손실과 그래디언트가 절반이 된다.
마지막 미니배치가 작으면 평균은 무엇으로 나눠?
그 배치에 실제로 들어온 샘플 수로 나눈다.
샘플 넷을 크기 3으로 나누면 마지막 배치는 한 개라 1로 나눈다.
고정 크기 3으로 나누면 그 그래디언트가 올바른 평균의 1/3이 된다.
drop_last=True는 이 작은 마지막 배치를 버리는 옵션이다.
작은 배치의 그래디언트를 누적하면 큰 배치와 같아?
같은 파라미터에서 구해 샘플 수에 맞춰 가중하면 같다.
출발점에서 1·2번과 3·4번 배치의 그래디언트를 반씩 더하면 전체 그래디언트 다.
중간에 step()을 하거나, BatchNorm처럼 배치 통계에 의존하는 층이 있으면 같지 않다.
코드로 확인하기
NumPy 코드는 샘플별 그래디언트를 직접 계산한 뒤 샘플 축으로 평균 낸다. 배치 크기와 샘플 조합을 바꾸며 배치 그래디언트, 한 걸음 뒤 위치, 두 손실의 변화를 비교하자. 출발점을 원점으로 바꾸면 전체 손실이 오르는 걸음을 직접 볼 수 있다.
import numpy as np
theta = np.array([-4.4, 1.5])
targets = np.array([[-2., -1.], [-2., 1.], [2., -1.], [2., 1.]])
scale = np.array([1., 10.])
indices = [0, 1] # 샘플 1·2번. NumPy 번호는 0부터
batch_size = len(indices)
eta = 0.1
per_grad = (theta - targets[indices]) * scale
grad = per_grad.sum(axis=0) / batch_size # 식 (2), 식 (6)
new_theta = theta - eta * grad # 식 (2), 식 (7)
loss = lambda p: np.mean(np.sum((p - targets)**2 * scale, axis=1) / 2)
print("B =", batch_size, "g =", grad)
print("theta_new =", new_theta)
print("L:", round(loss(theta), 4), "->", round(loss(new_theta), 4))$ python minibatch_step.py
B = 2 g = [-2.4 15. ]
theta_new = [-4.16 0. ]
L: 27.93 -> 15.6528직접 해보기
- 출발점에서 1·3번을 골라 학습률 0.1로 움직이면 위치와 전체 손실은?
답
그래디언트는 이므로 위치는 이다. 전체 손실은 이다. 기본 조합 1·2번과 달리 세로로는 바닥 0을 지나쳐 −1까지 간다.
- 출발점에서 1·4번과 2·3번 배치의 그래디언트가 같은 이유는?
답
두 배치 모두 목표 좌표의 평균이 이다. 배치 그래디언트는 로 전체 그래디언트와 같다. 서로 다른 샘플 조합도 같은 평균을 만들 수 있다.
- 1·2번, 3·4번 순서로 매번 갱신하면 한 에포크 뒤 위치와 전체 손실은?
답
첫 갱신 뒤 에서 그래디언트를 다시 계산한다. 3·4번 평균은 이므로 다음 위치는 이고, 전체 손실은 이다. 출발점에서 구한 두 배치 그래디언트를 평균해 한 걸음 간 과 다르다.
- 샘플 60,000개를 배치 크기 256으로 나누면 한 에포크는 몇 스텝인가?
drop_last=True면 몇 스텝이고, 에포크마다 몇 샘플을 버리나?
답
라 올림해 235스텝이다.
마지막 배치에는 개만 들어간다.
drop_last=True면 이 96개를 버려 234스텝이다. 순서를 섞으므로 버리는 샘플은 에포크마다 다르다.
- 학습률을 0.05로 줄여 출발점에서 1·2번으로 한 걸음 가면 위치와 전체 손실은? 세로 성분은 식 (9)로도 확인하라.
답
배치 그래디언트는 그대로 라 위치는 다. 1·2번의 는 0이므로 식 (9)로도 다. 전체 손실은 이다. 학습률 0.1의 15.6528보다 덜 줄었다. 주로 가 배치 목표 0 쪽으로 절반만 옮겨 갔기 때문이다.
더 읽기
- Deep Learning, 8. Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. 8.1.3·8.3.1·8.3.2. ‘미니배치 SGD는 왜 전체 대신 배치 평균을 쓰나’의 계산량·표본 선택과 ‘배치 사이즈를 키우면 그래디언트 잡음은 얼마나 줄어드나’의 제곱근 규칙, 모멘텀의 가중 평균을 더 읽을 수 있다. 8.3.1은 최솟점에서도 사라지지 않는 잡음 때문에 학습률을 점점 줄여야 한다고 적는다. ‘미니배치 SGD는 왜 바닥 근처에서 계속 흔들리나’가 기댄다.
- torch.utils.data — PyTorch 공식 문서, 수시 갱신. ‘배치 사이즈·에포크(에폭)·이터레이션(스텝)은 무엇이 다른가’와 대응표의
batch_size·shuffle·drop_last기본값을 확인한다. - torch.optim.SGD — PyTorch 공식 문서, 수시 갱신. ‘미니배치 SGD는 AI에서 어디에 쓰이나’의 학습률·모멘텀 인자와 갱신 순서를 확인한다.
- MSELoss — PyTorch 공식 문서, 수시 갱신. ‘미니배치 손실은 왜 합이 아니라 평균을 써?’와 모든 원소를 평균 내는 동작을 확인한다.
- Adam: A Method for Stochastic Optimization — Kingma·Ba, ICLR 2015. 알고리즘 1·2.1절·3절. ‘모멘텀과 Adam은 미니배치의 그래디언트 잡음을 어떻게 받나’의 제곱 그래디언트 이동 평균과 초기화 보정을 설명한다. 2.1절은 1차·2차 모멘트의 비를 신호 대 잡음비로 읽어, 그 비가 작으면 걸음이 0에 가까워진다고 적는다. 식 (10)은 이 페이지의 여섯 배치를 직접 열거한 계산이다.
- Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour — Goyal 외, 2017. 2.1절이 배치를 배로 키우면 학습률도 배로 하는 선형 스케일링 규칙을 내놓고, 걸음 동안 그래디언트가 거의 변하지 않는다는 강한 가정에서 그 이유를 설명한다. 2.2절은 학습 초반에 이 규칙이 깨지는 문제를 워밍업으로 다룬다. ‘미니배치 SGD의 흔한 오해’의 첫 줄이 기댄다.
영상 노트
- 00:00 몇 사람에게만 묻고 간을 맞추는 직관
- 00:40 식 (1)의 전체 평균과 식 (2)의 배치 평균
- 01:30 배치·확률적·미니배치 경사하강법 비교표
- 02:10 식 (3)~(5)의 네 샘플과 그림 1의 여섯 조합
- 03:10 식 (6)·(7)로 배치 하나의 갱신 계산
- 04:00 같은 계산량의 손실 14.84, 13.28, 18.35 비교
- 04:50 식 (8)과 그림 2의 배치 크기와 잡음
- 05:50 그림 3의 전체 손실이 오르는 한 걸음
- 06:40 배치 사이즈·에포크·이터레이션과 그림 4의 셔플
- 07:30 식 (9)와 그림 5 — 원점에서 출발해도 고정 학습률에서 흔들림이 남는 이유
- 08:30 식 (10)의 제곱 평균과 모멘텀의 잡음 상쇄
- 09:20 배치와 학습률을 함께 2배로 올리면 생기는 일(13.28과 24.45)
- 10:00 코드랩에서 배치 선택과 원점의 걸음 비교
지도에서의 위치
- 2026-11-13 · 에이전트 초안 (수식 4, 그림 3, 코드랩 1)
- 2026-11-13 · 독자 패널 리뷰 반영 — 본문 낱말을 그래디언트로 통일, 배치 사이즈·에폭·이터레이션과 세 가지 경사하강법 비교를 § 제목으로, 잡음이 줄어드는 규칙을 식으로 추가(그림 2에 배치 크기 3), 같은 계산량의 손실 비교 숫자 추가, 수식을 단계별로 나눠 번호 다시 매김
- 2026-11-17 · 전수 검수 반영 — 잡음의 반비례 규칙을 복원·비복원으로 나눠 바로잡고 비복원 추출 링크를 모집단과 표본으로 고침, 에포크마다 섞은 배치 도식과 최솟점에서 출발해도 흔들리는 경로 절(식 9, 학습률을 줄인 분산 1→1/3) 추가, 선형 스케일링 오해, Adam 문장 정정, 해보기 5문항, 에포크 표기를 용어집에 맞춤 (에이전트 수정, 그림 3→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림
- 2026-11-17 · 새 글 ‘학습률 스케줄’로 가는 링크와 다음 개념 연결 (에이전트 수정)