직관 — 동쪽과 북쪽의 경사를 한 화살표로
언덕에서 동쪽 경사와 북쪽 경사를 각각 잰다고 하자. 두 측정값을 한 화살표의 가로·세로 성분으로 옮긴다. 그 화살표를 쓰면 비스듬히 걸을 때의 높이 변화도 어림할 수 있다.
위치의 두 좌표는 입력, 높이는 손실 함수, 두 경사 측정값은 편미분에 대응한다. 편미분은 다른 입력을 고정하고 한 입력으로만 미분한 값이다. 두 편미분을 벡터로 모은 화살표가 그래디언트(기울기)다. 화살표는 입력 좌표 평면 위에 놓이고, 성분은 높이가 아니라 경사다.
AI 학습은 손실이 줄어드는 쪽으로 가중치를 조금씩 옮기는 일이다. 어느 쪽인지 알려 주는 것이 이 화살표다. 그래서 여기서 손실 함수의 입력은 데이터가 아니라 학습으로 바꾸는 값(파라미터)이다.
그래디언트는 편미분을 좌표 순서대로 모은 벡터다
그래디언트(gradient)는 함수의 각 입력에 대한 편미분을 좌표 순서대로 모은 벡터다. 기울기 벡터, 그라디언트도 같은 말이고, 딥러닝 책은 짧게 기울기라고도 쓴다. 입력이 하나면 곡선의 기울기(미분계수) 하나이고, 입력이 둘이면 성분이 둘인 벡터가 된다. 입력이 개면 성분도 개다. 기호 는 나블라라고 읽으며, 처럼 무엇으로 미분하는지 아래에 적기도 한다.
편미분에서는 를 그대로 두고 만 바꾼다. 편미분은 반대로 를 고정한다. 성분 순서는 미분할 입력 좌표의 순서와 맞춘다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 좌표 | coordinates | 손실 함수의 두 입력. 학습으로 바꿀 값의 두 성분이다 | |
| 파라미터 | parameter | 두 좌표를 묶은 벡터 | |
| 손실 함수 | loss function | 입력 위치마다 수 하나를 돌려주는 함수 | |
| 편미분 | partial derivative | 를 고정한 방향의 순간 변화율 | |
| 그래디언트 | gradient | 편미분을 좌표 순서대로 모은 열벡터 |
편미분은 어떻게 계산하나 — 다른 입력을 고정한 미분
편미분은 다른 입력을 상수로 두고 한 입력으로만 미분해 구한다. 예시는 경사하강법과 같은 그릇 모양 손실이고, 기준점은 손으로 따라가기 쉬운 이다.
로 미분할 때 는 상수여서 사라진다. 로 미분할 때는 가 상수다.
식 (2)와 식 (3)에 점 을 넣으면 손실은 이고, 그래디언트는 다음과 같다.
오른쪽으로의 순간 변화율은 1, 위쪽으로는 10이다. 같은 거리를 움직여도 위쪽이 손실을 10배 빠르게 바꾼다.
편미분은 한 좌표를 고정해 자른 단면 곡선의 접선 기울기다. 로 자르면 이고, 에서 접선 기울기가 1이다. 로 자르면 이고, 에서 접선 기울기가 10이다. 그림 1은 두 단면을 같은 눈금에 놓아, 아래의 방향 단면이 훨씬 가파른 것을 보여 준다.
figures/partial_slices.py그림 2의 타원은 손실이 같은 점을 이은 등고선이다. 점 에서 그래디언트는 타원의 바깥쪽을 향한다. 그림의 세 화살표는 방향을 비교하려고 길이를 같게 그렸다. 그래디언트 자체의 길이는 다.
figures/gradient_contour.py곱이 섞인 함수에서는 고정한 변수가 상수 계수로 남는다. 를 로 미분할 때는 를 숫자처럼 두고, 로 미분할 때는 을 계수로 둔다.
점 를 넣으면 이고, 길이는 다. 예시의 과 달리 편미분 에 가 들어 있다. 그래서 같은 이라도 가 2에서 1로 바뀌면 방향 기울기가 12에서 6으로 바뀐다.
그래디언트와 편미분은 뭐가 달라?
편미분은 한 좌표 방향의 변화율이고, 그래디언트는 그 값들을 모은 벡터다. 의 에서 1과 10이 각각 편미분이고, 전체가 그래디언트다. 성분의 수는 미분할 입력의 수와 같다.
그래디언트·그라디언트·기울기는 같은 말이야?
같은 말로 쓰인다. 다만 '기울기'는 곡선 한 점의 기울기(미분계수) 하나를 뜻하기도 한다. 입력이 하나면 기울기가 수 하나이고, 입력이 여럿이면 방향마다 기울기가 달라 벡터가 된다. 의 에서는 방향 기울기 1과 방향 기울기 10을 모은 이 그래디언트다.
그래디언트는 왜 가장 가파른 오르막 방향을 가리키나
그래디언트는 손실이 가장 빠르게 늘어나는 방향, 곧 가장 가파른 오르막 방향을 가리키고, 그 빠르기는 그래디언트의 길이다. 에서는 약 84.29° 방향으로 단위 거리당 약 10.05씩 늘고, 정반대 방향으로는 그만큼 준다.
한 방향의 순간 변화율인 방향도함수가 그래디언트와 그 방향 단위벡터의 내적이기 때문이다. 내적은 두 벡터가 같은 방향일 때 가장 크고, 정반대 방향일 때 가장 작다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 단위 방향 벡터 | unit direction vector | 길이가 1인 이동 방향. 성분은 | |
| 방향도함수 | directional derivative | 방향으로 단위 거리당 순간 변화율 | |
| 방향각 | direction angle | 양의 축에서 반시계로 잰 의 각도. 벡터 페이지의 (두 벡터의 사이각)와 다른 각이다 |
방향각이 인 단위 방향 벡터는 다.
오른쪽()의 변화율은 1, 위쪽()은 10이다. 그래디언트 의 방향각은 다. arctan은 세로 성분을 가로 성분으로 나눈 비에서 각도를 되찾는 역탄젠트다. 이 방향의 변화율은 약 10.05로 위쪽의 10보다 조금 크고, 정반대인 약 −95.71° 방향은 약 −10.05다.
벡터 페이지에서 내적은 두 길이와 사이각 코사인의 곱이었다. 의 길이가 1이므로 식 (6)은 그래디언트의 길이 에 사이각의 코사인을 곱한 값이다. 사이각은 에서 그래디언트의 방향각 약 84.29°를 뺀 각이다. 사이각이 0°면 최대인 약 10.05, 180°면 최소인 약 −10.05, 90°면 0이다. 그림 3은 방향을 한 바퀴 돌리며 이 값을 그린 것이다.
figures/directional_rates.py단위 방향에서 최댓값이 나오는 이유
벡터와 내적 페이지의 코시–슈바르츠 부등식을 쓴다. 다. 그래디언트가 0이 아니면 에서 상한에 닿는다. 부호를 뒤집으면 하한에 닿는다.
그래디언트는 편미분을 모은 벡터이고, 손실이 가장 빠르게 늘어나는 방향을 가리킨다. 그 빠르기는 그래디언트의 길이다(에서 ).
그래디언트는 왜 등고선에 수직이야?
등고선을 따라가면 손실이 변하지 않아, 그 방향의 변화율이 0이기 때문이다. 변화율은 그래디언트와 방향의 내적이므로, 내적이 0인 등고선 방향은 그래디언트와 수직(직각)이다. 을 지나는 등고선 의 접선 방향은 이고, 이다. 그림 2의 회색 화살표가 이 접선 방향이다.
방향도함수는 왜 단위벡터로 계산해?
길이가 다른 벡터로 재면 방향의 가파름과 벡터의 길이가 섞이기 때문이다. 그래디언트 과 의 내적은 20이지만, 이 벡터는 길이가 2다. 같은 방향의 단위벡터 로 재면 단위 거리당 변화율 10이 나온다.
편미분만 있으면 어느 방향의 변화율이든 알 수 있어?
아니다. 편미분이 있어도 그 점에서 함수가 미분 가능해야 내적 공식을 쓸 수 있다. , 은 원점에서 두 편미분이 0이지만, 대각선 위에서는 원점만 벗어나면 값이 이라 원점에서 값이 끊기고, 대각선 방향의 변화율이 없다. 이 페이지의 손실 은 다항식이라 모든 점에서 미분 가능하다.
그래디언트가 예측한 변화는 실제 한 걸음과 얼마나 다른가
방향도함수는 순간의 값이라, 유한한 거리를 움직였을 때의 손실 변화와는 조금 다르다. 에서 위쪽으로 0.1 움직이면 그래디언트의 예측은 이고, 실제 증가는 1.05다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 이동 거리 | travel distance | 단위 방향으로 실제 움직인 거리 | |
| 손실 변화 | loss change | 이동 뒤 손실에서 이동 전 손실을 뺀 값 | |
| 학습률 | learning rate | 그래디언트에 곱해 걸음을 정하는 양의 배율 |
점 에서 단위 방향 로 만큼 가면 도착점은 다. 손실 변화는 이고, 제곱을 전개하면 다음과 같다.
첫 항은 식 (6)의 방향도함수에 거리 를 곱한 값, 곧 그래디언트의 예측이다. 둘째 항은 그릇이 휘어 있어서 남는 차이다. 에서 를 0으로 보내면 둘째 항이 사라지고 식 (6)만 남는다. 이 극한이 방향도함수의 정의다.
위쪽()으로 이면 첫 항은 1, 둘째 항은 여서 합이 1.05다. 접선 방향은 첫 항만 0이라, 직선으로 유한하게 움직이면 등고선을 벗어난다.
그림 4는 거리 를 0에서 1까지 늘리며 예측과 실제를 견준다. 위쪽으로 을 가면 예측 10에 실제 15로, 둘째 항 만큼 벌어진다. 간격이 에 비례해서, 거리를 10분의 1로 줄이면 간격은 100분의 1로 준다.
figures/linear_prediction.py경사하강법은 거리 대신 학습률 로 걸음을 정하고, 그래디언트의 반대쪽으로 간다. 에서 한 걸음은 다음과 같다.
| 학습률 | 도착점 | 손실 |
|---|---|---|
| 출발 | 5.5 | |
| 0.1 | 0.405 | |
| 0.25 | 11.53125 |
두 학습률의 걸음은 방향이 같은데, 0.25는 손실을 5.5에서 11.53125로 늘린다. 내리막 방향이 맞아도 걸음이 크면 그릇의 반대편 비탈로 넘어가기 때문이다. 그림 5의 두 화살표는 모두 에서 출발하고, 두 도착점은 한 직선 위에 있다. 0.1은 인 골짜기 바닥에서 멈추고, 0.25는 바닥을 넘어 출발점보다 바깥 등고선까지 간다.
figures/gd_steps.py학습률이 얼마를 넘으면 손실이 늘어나는지는 경사하강법 페이지가 다룬다. 한 걸음의 길이는 학습률이 아니라 이고, 이면 다.
그래디언트가 0이면 최솟값이야?
아니다. 그래디언트가 0인 점(정지점)은 최솟값일 수도, 안장점일 수도 있다. 은 원점에서 그래디언트가 이지만 , 로, 원점의 0보다 큰 값과 작은 값이 함께 있다. 그릇 은 두 제곱 항이 음수가 될 수 없어 원점이 전역 최솟값이다.
그래디언트의 흔한 오해
- 그래디언트는 내려가는 방향을 가리킨다 — 에서 그래디언트 방향의 변화율은 약 +10.05다. 내려가는 쪽은 그 반대이고 변화율은 약 −10.05다.
- 반대 방향으로 가면 손실은 반드시 줄어든다 — 식 (8)의 학습률 0.25는 손실을 5.5에서 11.53125로 늘린다.
- 그래디언트가 0이면 최솟값을 찾은 것이다 — 안장점에서도 0이다. 반례는 위의 ‘그래디언트가 0이면 최솟값이야?’에 있다.
그래디언트는 AI에서 어디에 쓰이나
학습에서 그래디언트는 파라미터마다 손실이 얼마나 민감한지를 담는다.
학습 루프에서는 loss.backward()가 그래디언트를 구해 .grad에 담는 줄이고, 루프 전체는 경사하강법에 있다.
그 계산에는 연쇄법칙을 쓰며, 이 규칙을 계산 그래프에서 거꾸로 적용하는 알고리즘이 역전파다.
| 이 페이지 | PyTorch에서의 대응 |
|---|---|
theta = torch.tensor([1., 1.], requires_grad=True)인 리프 텐서 | |
loss = (theta[0]**2 + 10*theta[1]**2) / 2 | |
loss.backward() 뒤 theta.grad에 담긴 [1., 10.] | |
| 식 (8)의 | 기본 SGD의 lr. 모멘텀·가중치 감쇠 없이 쓴다 |
가중치가 행렬이면 .grad도 같은 크기의 행렬이고, 각 원소의 편미분이 같은 자리에 담긴다.
이를 한 줄로 펼치면 이 페이지의 그래디언트 벡터다.
torch.autograd.grad는 .grad에 값을 넣어 줘?
아니다. torch.autograd.grad(loss, theta)는 그래디언트를 반환만 하고 theta.grad에는 넣지 않는다.
이면 반환한 튜플의 첫 원소가 [1., 10.]이다.
loss.backward()는 리프 텐서의 .grad에 더해 쌓으므로, 걸음마다 먼저 지운다.
코드로 확인하기
방향을 돌리며 단위 벡터와 방향도함수를 비교하자. 위젯의 실선은 선택한 방향, 점선은 그래디언트 방향이다. 위젯과 코드는 식 (6)의 내적을 계산하며, 코드는 위쪽인 90도를 쓴다.
import numpy as np
point = np.array([1.0, 1.0])
grad = point * np.array([1.0, 10.0]) # 식 (4)
angle = 90.0
phi = np.deg2rad(angle)
direction = np.array([np.cos(phi), np.sin(phi)])
rate = grad @ direction # 식 (6)
print(f"gradient = {grad}")
print(f"direction = {np.round(direction, 6)}")
print(f"directional derivative = {rate:.6f}")$ python directional_derivative.py
gradient = [ 1. 10.]
direction = [0. 1.]
directional derivative = 10.000000직접 해보기
- 에서 왼쪽으로 향하는 단위 방향의 변화율은?
답
과의 내적이므로 이다.
- 같은 점에서 접선 단위 방향 로 0.1만큼 직선 이동하자. 순간 변화율과 실제 손실 변화는 같은가?
답
순간 변화율은 0이다. 식 (7)의 둘째 항은 이다. 실제 손실은 이만큼 늘어난다. 순간 변화율이 0이어도 유한하게 움직이면 손실이 변한다.
- 에서 벡터 방향의 변화율은? 그래디언트와 를 그대로 내적하면 얼마가 나오나?
답
의 길이가 5라서 단위 방향은 이다. 식 (6)의 내적은 이다. 그대로 내적한 은 이 값에 길이 5가 곱해진 값이다.
- 의 점 에서 가 가장 빠르게 늘어나는 단위 방향과 그 변화율은?
답
식 (5)의 그래디언트 를 길이 15로 나눈 이 그 방향이다. 그 방향의 변화율은 그래디언트의 길이 15이고, 정반대 방향 으로는 다.
- 에서 학습률 0.2로 경사하강법 한 걸음을 가면 도착점과 손실은?
답
식 (8)에 넣으면 이다. 손실은 로 5.5에서 조금 준다. 성분은 1에서 로 부호만 바뀌어 쪽 손실 5는 그대로이고, 쪽만 0.5에서 0.32로 줄었다.
더 읽기
- Calculus 3, 4.3 Partial Derivatives — Strang·Herman, 2016. ‘편미분은 어떻게 계산하나’의 정의와 상수 취급을 더 연습할 수 있다.
- Calculus 3, 4.6 Directional Derivatives and the Gradient — Strang·Herman, 2016. ‘그래디언트는 왜 가장 가파른 오르막 방향을 가리키나’의 내적 공식과 등고선의 직교 관계를 설명한다.
- Calculus 3, 4.4 Tangent Planes and Linear Approximations — Strang·Herman, 2016. ‘그래디언트가 예측한 변화는 실제 한 걸음과 얼마나 다른가’의 일차 근사와 미분 가능성의 조건을 확인한다.
- Deep Learning, 4 Numerical Computation — Goodfellow·Bengio·Courville, 2016. ‘그래디언트가 0이면 최솟값이야?’의 정지점·안장점 구분을 학습 문제와 연결한다.
- torch.autograd.grad — PyTorch 공식 문서, 수시 갱신. ‘그래디언트는 AI에서 어디에 쓰이나’의 반환값과
.grad누적의 차이를 확인한다.
영상 노트
- 00:00 동쪽과 북쪽의 경사를 모으기
- 00:40 식 (1)의 고정하는 좌표 읽기
- 01:30 식 (2)~(4)에서 편미분 1과 10 계산하기, 그림 1의 두 단면
- 02:20 그림 2의 등고선과 세 방향
- 03:00 식 (5)로 곱이 섞인 함수 편미분하기
- 03:40 식 (6)과 그림 3으로 가장 가파른 오르막 찾기
- 04:50 식 (7)과 그림 4로 예측과 실제 변화 구분하기
- 05:50 식 (8)과 그림 5로 학습률만 다른 한 걸음 비교하기
- 06:50 안장점 반례와 파라미터 그래디언트
지도에서의 위치
- 2026-11-12 · 에이전트 초안 (수식 6, 그림 2, 코드랩 1)
- 2026-11-13 · 역전파 페이지 연결
- 2026-11-13 · 독자 패널 리뷰 반영 — 내적이 가장 큰 조건을 '같은 방향'으로 바로잡음, 기울기·그라디언트 낱말과 가장 가파른 오르막·등고선 수직 설명 추가, 수식을 단계별로 나눠 번호 다시 매김, 기호표를 셋으로 나눔
- 2026-11-17 · 전수 검수 반영 — 편미분을 단면의 접선 기울기로 보는 그림, 곱이 섞인 함수의 편미분 예제와 식 번호 다시 매김, 예측과 실제 변화·학습률만 다른 한 걸음 비교 그림과 화살표·라벨 겹침 정리, 해보기 다섯 문항, 같은 말 설명과 별칭 정리 (에이전트 수정, 그림 2→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림