직관 — 구간단속의 평균 속도에서 지금 이 순간의 속도로
고속도로 구간단속은 두 지점 사이를 달린 거리를 걸린 시간으로 나눠 평균 속도를 잰다. 두 지점 사이를 좁혀 갈수록 그 값은 한 지점을 지나는 순간의 속도에 가까워진다. 과속 카메라가 재려는 것이 바로 그 순간 속도다.
시각이 입력, 그때의 위치가 함수값이다. 구간단속의 평균 속도가 두 점 사이의 평균변화율이고, 구간을 한없이 좁혀 얻는 순간 속도가 미분계수(순간변화율)다. 그 좁히는 과정이 극한이다.
AI 학습은 손실이 파라미터에 대해 지금 얼마나 가파른지를 미분으로 재고, 그 반대쪽으로 한 걸음 간다.
미분계수는 평균변화율의 극한이다
미분계수는 함수의 한 점에서의 순간변화율이고, 그래프에서는 그 점에서의 접선의 기울기다. 두 점 사이의 평균변화율을 구한 뒤, 두 입력의 간격을 0으로 보낸 극한으로 정한다. 이 극한이 유한한 실수로 있을 때 그 점에서 미분가능하다고 한다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| , | 입력, 기준 입력 | input, base point | 미분계수를 구할 점 는 고정한다 |
| 입력 변화량(증분) | increment | 에서 로 옮긴 양. 양수도 음수도 되지만 0은 아니다. 교과서의 | |
| , | 함수, 함수값 | function, function value | 입력에 출력을 대응시키는 규칙과 기준점의 출력 |
| 평균변화율 | average rate of change | 출력 변화량을 입력 변화량으로 나눈 값. 차분몫(difference quotient)이라고도 한다. 교과서의 | |
| 미분계수 | derivative at a point | 한 점에서의 순간변화율, 곧 접선의 기울기. ‘에프 프라임 에이’로 읽는다 | |
| , | 도함수 | derivative function | 입력마다 미분계수를 돌려주는 함수 |
| 극한 기호 | limit | 을 뺀 양쪽에서 같은 유한한 값으로 모이는지 본다 |
교과서는 평균변화율을 로, 도함수를 이나 로 쓴다. 이 페이지의 , 와 같은 것이고, 연쇄법칙 페이지는 꼴을 쓴다. 구간 의 평균변화율 는 로 두면 와 같다. 식 (1) 둘째 줄의 마지막 꼴은 대신 로 쓴 것이라 두 극한은 같은 값이다.
식 (1)의 첫 줄은 두 함수값을 먼저 빼고, 그 차를 로 나눈다. 에서의 높이 와 기울기 는 서로 다른 양이다. 높이가 큰 점에서도 기울기가 0일 수 있다.
그래프의 두 점을 지나는 직선을 할선이라 한다. 그 기울기가 식 (1)의 평균변화율이다. 그림 1에서 가로 변화량 와 세로 변화량 의 비가 할선의 기울기다. 두 점이 가까워지며 기울기가 한 값으로 모이면, 그 값이 기준점에서의 접선의 기울기다. 점 하나만으로는 직선의 방향을 정할 수 없어 주변의 점을 빌리는 것이다.
figures/average_rate_triangle.py11 정의에는 의 양쪽 가까이에서 함수가 정의되어 있다는 전제가 있다. 이 페이지는 정의역 안쪽의 점에서 양쪽으로 다가가는 미분만 다룬다.
x²을 미분하면 왜 2x가 되나
의 평균변화율은 로 정리되고, 를 0으로 보내면 가 남기 때문이다. 그래서 , 곧 도함수는 다.
이라 분자는 다. 가 0이 아니므로 로 나누어 를 얻는다. 기준점을 로 잡으면 높이 은 1, 기울기 은 2다. 그림 2는 간격이 줄며 할선이 기울기 2인 접선에 가까워지는 모습이다.
figures/secant_tangent.py로 쓰면 은 극한 페이지의 과 같은 식이다. 거기서 구한 극한 2가 바로 이 미분계수다.
| 평균변화율 | ||
|---|---|---|
극한 페이지에서는 를 양수인 거리로만 썼지만, 여기서는 부호가 있다. 왼쪽에서 다가가면 이고, 표의 마지막 줄은 음수를 음수로 나눠 양의 기울기 1.999가 된다. 그림 3에서 오른쪽 변화율은 위에서, 왼쪽 변화율은 아래에서 2로 모인다. 식 (2)에서 이므로 2와의 차이는 간격 와 같다. 표 몇 줄은 관찰일 뿐이고, 극한값 2의 근거는 식 (2)다.
figures/slope_convergence.py평균변화율이랑 순간변화율은 뭐가 달라?
평균변화율은 두 점 사이의 기울기이고, 순간변화율은 그 두 점을 한 점으로 모았을 때의 기울기(미분계수)다. 에서 1과 1.1 사이의 평균변화율은 2.1이고, 에서의 순간변화율은 2다. 그래프로는 할선의 기울기와 접선의 기울기다.
미분할 때 h에 처음부터 0을 넣으면 안 돼?
그렇다, 0을 바로 넣을 수는 없다. 평균변화율의 분모가 라서 0을 넣으면 0으로 나누게 된다. 의 에서 이면 변화율은 2.01이고, 미분계수는 이런 값들이 모이는 2다. 그래서 인 채로 식을 정리한 다음 극한을 구한다(식 (2)).
접선은 근처 함수값을 어떻게 예측하나
접선은 기준점 근처의 함수값을 직선으로 어림한다. 기울기에 입력 변화량을 곱한 것이 출력 변화량의 어림값이다. 기준점 에서의 접선을 로 쓰자.
22 은 직선(line)의 머리글자다. 시그마 페이지에서 데이터 하나의 손실로 쓴 와는 다른 기호다.
입력을 1에서 1.1로 바꿔 보자. 접선은 출력을 로 예측하고, 실제 출력은 이라 오차는 0.01이다. 입력 간격이 0.01이면 예측은 1.02, 실제는 1.0201이고 오차는 0.0001이다.
식 (3)의 둘째 줄과 셋째 줄을 비교하면 오차는 정확히 이다. 그래서 이 함수에서는 간격을 10분의 1로 줄이면 오차가 100분의 1이 된다. 그림 4의 위에서 이면 접선은 3, 실제 값은 4라 차이가 1로 크다. 기준점 근처를 확대한 아래에서는 의 차이 0.01이 거의 보이지 않는다. 미분가능한 다른 함수에서는 오차가 꼭 은 아니지만, 오차를 간격으로 나눈 값이 0으로 간다.
figures/tangent_zoom.py접선은 그래프와 딱 한 번만 만나는 직선이야?
아니다. 접선은 만나는 횟수가 아니라, 한 점을 지나고 기울기가 그 점의 미분계수인 직선으로 정한다. 의 접선은 그 점에서만 만나지만, 직선 의 접선은 그래프 전체와 겹친다.
연속인데 미분이 안 되는 경우도 있다
함수값이 끊기지 않아도 좌우 기울기가 다르면 미분할 수 없다. 반례 함수 은 에서 연속이지만 그래프가 꺾인다.
그림 5에서 왼쪽 기울기는 −1, 오른쪽 기울기는 1이다. 의 절댓값을 0.1에서 0.001로 줄여도 두 값은 그대로다. 양쪽이 모이는 값이 없어 은 존재하지 않는다.
식 (4)는 로 쓰면 극한 페이지의 이다. 좌극한 −1과 우극한 1이 달라 극한이 없던 바로 그 함수다. 조각함수의 경계에서 상수를 정하는 문제와 그래프에서 미분가능하지 않은 점을 찾는 법은 미분가능성과 연속성에서 다룬다.
figures/corner_slopes.py미분가능하면 반드시 연속이야?
그렇다. 정의역 안쪽의 점에서 미분가능한 함수는 그 점에서 연속이다. 거꾸로는 성립하지 않아, 은 에서 연속이지만 좌우 기울기가 −1과 1이라 미분할 수 없다. 수직 접선처럼 변화율의 절댓값이 끝없이 커지는 점에도 미분계수는 없다.
미분계수와 도함수는 무엇이 다른가
미분계수는 한 입력에서 얻은 수이고, 도함수는 입력마다 그 수를 돌려주는 함수다. 이면 는 미분계수, 는 도함수다. ‘미분한다’는 말은 문맥에 따라 도함수를 구하는 일도, 한 점의 미분계수를 구하는 일도 가리킨다.
는 ‘에 대해 미분한다’는 연산 기호다. 으로 두면 같은 도함수를 , , 로 쓴다.
미분은 평균변화율이 모이는 값으로 한 점의 기울기를 구하는 일이다. 그 값 하나가 미분계수이고, 점마다 그 값을 돌려주는 함수가 도함수다.
미분 공식 — xⁿ을 미분하면 왜 n·xⁿ⁻¹인가
의 평균변화율을 전개하면 가 곱해지지 않은 항이 하나뿐이라, 를 0으로 보내면 그것만 남기 때문이다. 매번 극한을 전개하지 않도록 이런 결과를 미분 공식으로 모아 둔다. 아래에서 는 상수, 은 양의 정수이고, 와 는 미분가능한 함수다.
인 경우가 식 (2)다. 이면 이라 평균변화율이 이고, 극한은 이다. , 이면 평균변화율은 3.31이고 미분계수는 3이다.
공식을 이어 쓰면 의 도함수는 다. 상수 5는 그래프를 위아래로 옮길 뿐 기울기를 바꾸지 않는다. 양의 정수 전체에 대한 유도는 도함수에, 실수배·합·차로 다항함수를 미분하는 연습은 다항함수의 미분에 있다. 로그와 지수함수의 미분은 로그 함수 페이지에, 합성함수의 미분은 연쇄법칙 페이지에 있다.
미분계수의 정의로 변형된 극한은 어떻게 구하나
분모를 분자의 두 입력의 차와 같게 맞추면 미분계수의 정의 꼴이 되고, 맞추느라 곱한 수가 앞에 남는다. , 로 가장 흔한 두 꼴을 계산한다.
분자의 두 입력 와 1의 차는 인데 분모는 다. 를 새 증분 로 보면 일 때 이라 첫 분수는 로 간다. 직접 계산해도 분자는 이라 분수는 이고, 이면 6.09다.
둘째 꼴은 가운데에 을 빼고 더해 두 분수로 나눈다. 뒤의 분수는 증분이 인 평균변화율이라 역시 로 간다. 제곱함수에서는 라 와 상관없이 정확히 4다.
미분의 흔한 오해
- 연속인 곡선은 어디서나 미분된다 — 은 연속이지만 에서 좌우 기울기 −1과 1이 다르다(질문 ‘미분가능하면 반드시 연속이야?’).
- 미분계수가 0이면 반드시 최솟값이다 — 은 에서 미분계수가 이지만, 음수 입력에서는 함수값도 음수라 0은 최솟값이 아니다.
미분은 AI에서 어디에 쓰이나
선택 확장: 이 절은 미분을 AI 학습에 적용한다. 교과의 미분계수 개념만 공부할 때는 건너뛰어도 된다.
신경망 학습은 손실이 파라미터 변화에 얼마나 민감한지를 미분으로 구한다. 파라미터가 여러 개면 다른 값을 고정하고 하나씩 미분한 편미분을 모으고, 그 묶음이 그래디언트다. 여기서는 파라미터가 하나인 손실 로 경사하강법 한 걸음을 본다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 손실 함수 | loss function | 작을수록 좋은 값. 이 예시에서는 | |
| 파라미터 | parameter | 번째 걸음에서의 값. 처음 값이 | |
| 학습률 | learning rate | 한 걸음의 크기를 정하는 양수 |
식 (8)의 마지막 줄은 , 을 넣은 것이다. 미분계수 가 양수이므로 손실을 줄이는 방향은 왼쪽이고, 만큼 움직인다. 손실은 1에서 로 줄어든다.
걸음이 너무 크면 이 예시에서도 손실이 는다. 면 로 넘어가 손실이 4가 된다.
| 이 페이지 | PyTorch에서의 대응 |
|---|---|
| 파라미터 | torch.tensor(1.0, requires_grad=True)로 만든 리프 텐서 |
| 손실 | loss = theta.square()로 만든 스칼라 텐서 |
loss.backward() 후 theta.grad. 이 예시에서는 2 | |
| 학습률 | torch.optim.SGD([theta], lr=0.1)의 lr |
| 식 (8)의 갱신 | 모멘텀·가중치 감쇠가 없는 SGD의 optimizer.step() |
학습 루프 전체는 경사하강법 페이지가 다룬다. 여러 연산의 미분을 잇는 규칙이 연쇄법칙이고, 그것을 신경망 전체에 적용하는 절차가 역전파다.
자동미분도 입력을 아주 조금 바꿔 가며 계산해?
아니다.
PyTorch 자동미분은 입력을 바꿔 보지 않고, 기록해 둔 연산마다 미분 공식을 적용해 잇는다.
의 에서는 을 고르는 대신 공식 로 기울기 2를 바로 구한다.
작은 로 평균변화율을 재는 쪽은 수치미분이고, torch.autograd.gradcheck가 검증에만 쓴다.
의 꼭짓점처럼 미분이 없는 점에서도 자동미분은 수 하나를 돌려준다. PyTorch 문서는 볼록한 함수의 그런 점에서, 가능한 기울기 가운데 크기가 가장 작은 것을 쓴다고 적는다. 이 꼭짓점에서는 −1과 1 사이에서 고르니 0이다. 그래서 돌려받은 수가 있다는 것만으로 미분가능하다고 판단하지 않는다.
코드로 확인하기
코드는 정의의 분수식과 정리한 식 를 나란히 계산한다. 위젯에서 기준 입력 와 간격을 움직이면 할선의 기울기가 접선의 기울기에 가까워진다.
import numpy as np
a = 1.0
h = np.array([0.1, 0.01, 0.001, -0.001])
# 식 (2): 분수식과 h != 0에서 정리한 식
slope = ((a + h) ** 2 - a ** 2) / h
exact = 2 * a + h
for step, numeric, simplified in zip(h, slope, exact):
print(f"h={step: .3f}: q={numeric:.6f}, 2a+h={simplified:.6f}")
print(f"derivative = {2 * a:.1f}")$ python difference_quotient.py
h= 0.100: q=2.100000, 2a+h=2.100000
h= 0.010: q=2.010000, 2a+h=2.010000
h= 0.001: q=2.001000, 2a+h=2.001000
h=-0.001: q=1.999000, 2a+h=1.999000
derivative = 2.0수치미분은 간격을 작게 할수록 정확해?
어느 선까지만 그렇다.
정확한 계산에서는 의 평균변화율 오차가 간격 와 같아, 간격이 작을수록 정확하다.
컴퓨터에서는 가까운 두 함수값을 뺄 때 유효 숫자를 잃는다.
float64에서 1.0 + 1e-16은 1.0으로 반올림되어, 분수식이 2 대신 0을 낸다.
직접 해보기
- 같은 제곱 함수에서 , 이면 평균변화율과 미분계수는 얼마인가?
답
식 (2)에서 평균변화율은 , 미분계수는 4다.
- 의 접선으로 을 예측하고 실제 값과 비교하자.
답
예측은 다. 실제 값 과의 차이는 이다.
- 공식을 쓰지 말고 식 (1)만으로 의 에서의 미분계수를 구하자.
답
이고 다. 평균변화율은 이다. 이면 이므로 이다. 이 점의 접선은 오른쪽 아래로 기운다.
- 일 때 는 얼마인가?
답
분자의 두 입력의 차는 이므로 분모를 로 맞추고 를 곱한다. 극한은 이다. 직접 전개하면 분자가 이라 분수는 이고, 같은 값 로 간다.
- 선택 확장: 식 (8)과 같은 손실에서 , 이면 은 얼마인가?
답
미분계수는 다. 로, 음의 기울기 반대 방향인 오른쪽으로 움직인다. 손실은 1에서 0.64가 된다.
더 읽기
- Calculus 1, 3.1 Defining the Derivative — Strang·Herman, 2016. 할선에서 접선으로 이어지는 정의. ‘미분계수는 평균변화율의 극한이다’의 근거이며 변화율 예제를 더 볼 수 있다.
- Calculus 1, 3.2 The Derivative as a Function — Strang·Herman, 2016. 도함수와 미분가능성. ‘미분계수와 도함수는 무엇이 다른가’와 ‘연속인데 미분이 안 되는 경우도 있다’의 조건과 반례를 확인할 수 있다.
- Calculus 1, 3.3 Differentiation Rules — Strang·Herman, 2016. 기본 미분 규칙. ‘미분 공식 — xⁿ을 미분하면 왜 n·xⁿ⁻¹인가’의 식 (5)를 넓혀 읽을 수 있다.
- Autograd mechanics — PyTorch 공식 문서, 수시 갱신. ‘미분은 AI에서 어디에 쓰이나’의 그래프 기록과 미분 불가능한 점에서 돌려주는 값의 규칙을 확인한다.
- SGD — PyTorch 공식 문서, 수시 갱신. 식 (8)에 대응하는
lr,momentum,weight_decay와 갱신 순서를 확인한다.
영상 노트
- 00:00 구간단속의 평균 속도와 지금 이 순간의 속도
- 00:40 식 (1)의 두 꼴과 그림 1의 Δx·Δy, 교과서 표기와 맞추기
- 01:40 식 (2)를 전개해 기울기 2 얻기
- 02:40 그림 2에서 할선을 접선으로 보내기
- 03:30 그림 3에서 양쪽 변화율이 2로 모이는 모습 읽기
- 04:20 식 (3)과 그림 4로 근처 함수값 예측하고 오차 h² 확인하기
- 05:20 그림 5의 꼭짓점과 식 (4)
- 06:10 미분계수 2와 도함수 2x 구분하기
- 06:50 식 (5)의 미분 공식과 n = 3 전개
- 07:40 식 (6), (7)로 정의를 변형한 극한 계산하기
- 08:40 식 (8)로 학습 한 걸음 계산하기
지도에서의 위치
- 2026-11-12 · 에이전트 초안 (수식 6, 그림 3, 코드랩 1)
- 2026-11-12 · 그래디언트·연쇄법칙 페이지 연결
- 2026-11-13 · 역전파 페이지 연결
- 2026-11-13 · 독자 패널 리뷰 반영 — 직관을 구간단속 장면으로, 교과서 표기(평균변화율·순간변화율·Δy/Δx·dy/dx·y′) 다리, 미분 공식 절을 따로 두고 n = 3 유도 추가, 반례 함수 기호를 G로, 갱신식을 경사하강법 페이지의 표기로, 그림 3 라벨 위치
- 2026-11-15 · 교과 검수 반영 — 증분 용어와 AI 확장 범위를 명시하고 관련 개념을 별칭과 구분
- 2026-11-16 · 전수 검수 반영 — 미분계수의 x→a 꼴과 구간 평균변화율, 정의를 변형한 극한 절, 해보기 2문항, 이웃 교과 글 연결, 가로 패널 그림을 한 장으로 다시 그림, 꼭짓점 그림의 글자를 키움 (에이전트 수정, 그림 3→5)
- 2026-11-16 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림