미적분미분#015

미분

Derivatives

미분은 평균변화율의 극한으로 한 점의 순간변화율(미분계수)을 구하는 연산이다. x²은 x=1에서 간격을 0.1, 0.01, 0.001로 줄이면 변화율이 2.1, 2.01, 2.001로 2에 모인다. 접선 근사, 정의를 변형한 극한, 도함수 2x와 AI 학습의 쓰임을 숫자로 확인한다.

주인공 기호
f′
읽는 시간
약 10분
선수 개념
함수의 극한

직관 — 구간단속의 평균 속도에서 지금 이 순간의 속도로

직관

고속도로 구간단속은 두 지점 사이를 달린 거리를 걸린 시간으로 나눠 평균 속도를 잰다. 두 지점 사이를 좁혀 갈수록 그 값은 한 지점을 지나는 순간의 속도에 가까워진다. 과속 카메라가 재려는 것이 바로 그 순간 속도다.

시각이 입력, 그때의 위치가 함수값이다. 구간단속의 평균 속도가 두 점 사이의 평균변화율이고, 구간을 한없이 좁혀 얻는 순간 속도가 미분계수(순간변화율)다. 그 좁히는 과정이 극한이다.

AI 학습은 손실이 파라미터에 대해 지금 얼마나 가파른지를 미분으로 재고, 그 반대쪽으로 한 걸음 간다.

미분계수는 평균변화율의 극한이다

미분계수는 함수의 한 점에서의 순간변화율이고, 그래프에서는 그 점에서의 접선의 기울기다. 두 점 사이의 평균변화율을 구한 뒤, 두 입력의 간격을 0으로 보낸 극한으로 정한다. 이 극한이 유한한 실수로 있을 때 그 점에서 미분가능하다고 한다.

qh(a)=f(a+h)−f(a)h(h≠0),f′(a)=lim⁡h→0qh(a)=lim⁡x→af(x)−f(a)x−a.(1)\begin{aligned} q_h(a)&=\frac{f(a+h)-f(a)}{h}\quad(h\ne0),\\ f'(a)&=\lim_{h\to0}q_h(a)=\lim_{x\to a}\frac{f(x)-f(a)}{x-a}. \end{aligned} \tag{1}
정의
기호이름원어뜻
xx, aa입력, 기준 입력input, base point미분계수를 구할 점 aa는 고정한다
hh입력 변화량(증분)incrementaa에서 a+ha+h로 옮긴 양. 양수도 음수도 되지만 0은 아니다. 교과서의 Δx\Delta x
ff, f(a)f(a)함수, 함수값function, function value입력에 출력을 대응시키는 규칙과 기준점의 출력
qh(a)q_h(a)평균변화율average rate of change출력 변화량을 입력 변화량으로 나눈 값. 차분몫(difference quotient)이라고도 한다. 교과서의 Δy/Δx\Delta y/\Delta x
f′(a)f'(a)미분계수derivative at a point한 점에서의 순간변화율, 곧 접선의 기울기. ‘에프 프라임 에이’로 읽는다
f′f', f′(x)f'(x)도함수derivative function입력마다 미분계수를 돌려주는 함수
lim⁡h→0\lim_{h\to0}극한 기호limith=0h=0을 뺀 양쪽에서 같은 유한한 값으로 모이는지 본다

교과서는 평균변화율을 Δy/Δx\Delta y/\Delta x로, 도함수를 y′y'이나 dy/dxdy/dx로 쓴다. 이 페이지의 qh(a)q_h(a), f′(x)f'(x)와 같은 것이고, 연쇄법칙 페이지는 dL/dxdL/dx 꼴을 쓴다. 구간 [a,b][a,b]의 평균변화율 f(b)−f(a)b−a\dfrac{f(b)-f(a)}{b-a}는 b=a+hb=a+h로 두면 qh(a)q_h(a)와 같다. 식 (1) 둘째 줄의 마지막 꼴은 hh 대신 x=a+hx=a+h로 쓴 것이라 두 극한은 같은 값이다.

식 (1)의 첫 줄은 두 함수값을 먼저 빼고, 그 차를 hh로 나눈다. x=ax=a에서의 높이 f(a)f(a)와 기울기 f′(a)f'(a)는 서로 다른 양이다. 높이가 큰 점에서도 기울기가 0일 수 있다.

그래프의 두 점을 지나는 직선을 할선이라 한다. 그 기울기가 식 (1)의 평균변화율이다. 그림 1에서 가로 변화량 Δx=h\Delta x=h와 세로 변화량 Δy=f(a+h)−f(a)\Delta y=f(a+h)-f(a)의 비가 할선의 기울기다. 두 점이 가까워지며 기울기가 한 값으로 모이면, 그 값이 기준점에서의 접선의 기울기다. 점 하나만으로는 직선의 방향을 정할 수 없어 주변의 점을 빌리는 것이다.

곡선 y=f(x) 위의 두 점 (a,f(a))와 (a+h,f(a+h))를 잇는 할선. 가로 변화량 Δ x=h와 세로 변화량 Δ y의 비가 평균변화율 q_h(a)이고, 점선은 x=a에서의 접선이다.
그림 1 곡선 y=f(x)y=f(x) 위의 두 점 (a,f(a))(a,f(a))와 (a+h,f(a+h))(a+h,f(a+h))를 잇는 할선. 가로 변화량 Δx=h\Delta x=h와 세로 변화량 Δy\Delta y의 비가 평균변화율 qh(a)q_h(a)이고, 점선은 x=ax=a에서의 접선이다. figures/average_rate_triangle.py

11 정의에는 aa의 양쪽 가까이에서 함수가 정의되어 있다는 전제가 있다. 이 페이지는 정의역 안쪽의 점에서 양쪽으로 다가가는 미분만 다룬다.

x²을 미분하면 왜 2x가 되나

f(x)=x2f(x)=x^2의 평균변화율은 2a+h2a+h로 정리되고, hh를 0으로 보내면 2a2a가 남기 때문이다. 그래서 f′(a)=2af'(a)=2a, 곧 도함수는 f′(x)=2xf'(x)=2x다.

qh(a)=(a+h)2−a2h=2ah+h2h=2a+h(h≠0),f′(a)=lim⁡h→0(2a+h)=2a.(2)\begin{aligned} q_h(a)&=\frac{(a+h)^2-a^2}{h}\\ &=\frac{2ah+h^2}{h}\\ &=2a+h\quad(h\ne0),\\ f'(a)&=\lim_{h\to0}(2a+h)=2a. \end{aligned} \tag{2}

(a+h)2=a2+2ah+h2(a+h)^2=a^2+2ah+h^2이라 분자는 2ah+h22ah+h^2다. hh가 0이 아니므로 hh로 나누어 2a+h2a+h를 얻는다. 기준점을 a=1a=1로 잡으면 높이 f(1)f(1)은 1, 기울기 f′(1)f'(1)은 2다. 그림 2는 간격이 줄며 할선이 기울기 2인 접선에 가까워지는 모습이다.

f(x)=x^2의 기준점 (1,1)에서 h=1,0.5,0.1인 할선을 한 그래프에 겹쳐 접선과 비교한다. 할선 기울기는 차례로 3, 2.5, 2.1이며, 진한 선일수록 간격이 작고 접선 기울기 2에 가깝다.
그림 2 f(x)=x2f(x)=x^2의 기준점 (1,1)(1,1)에서 h=1,0.5,0.1h=1,0.5,0.1인 할선을 한 그래프에 겹쳐 접선과 비교한다. 할선 기울기는 차례로 3, 2.5, 2.1이며, 진한 선일수록 간격이 작고 접선 기울기 2에 가깝다. figures/secant_tangent.py

x=1+hx=1+h로 쓰면 qh(1)q_h(1)은 극한 페이지의 (x2−1)/(x−1)(x^2-1)/(x-1)과 같은 식이다. 거기서 구한 극한 2가 바로 이 미분계수다.

hhf(1+h)−f(1)f(1+h)-f(1)평균변화율 qh(1)q_h(1)
0.10.10.210.212.12.1
0.010.010.02010.02012.012.01
0.0010.0010.0020010.0020012.0012.001
−0.001-0.001−0.001999-0.0019991.9991.999

극한 페이지에서는 hh를 양수인 거리로만 썼지만, 여기서는 부호가 있다. 왼쪽에서 다가가면 h<0h<0이고, 표의 마지막 줄은 음수를 음수로 나눠 양의 기울기 1.999가 된다. 그림 3에서 오른쪽 변화율은 위에서, 왼쪽 변화율은 아래에서 2로 모인다. 식 (2)에서 qh(1)−2=hq_h(1)-2=h이므로 2와의 차이는 간격 ∣h∣\lvert h\rvert와 같다. 표 몇 줄은 관찰일 뿐이고, 극한값 2의 근거는 식 (2)다.

같은 제곱 함수에서 거리 | h|를 0.1에서 0.0001까지 줄일 때의 q_h(1)=2+h. 실선은 h>0, 점선은 h<0이고 가로축은 오른쪽으로 갈수록 간격이 작다. 두 선이 위아래에서 2로 모인다.
그림 3 같은 제곱 함수에서 거리 ∣h∣\lvert h\rvert를 0.1에서 0.0001까지 줄일 때의 qh(1)=2+hq_h(1)=2+h. 실선은 h>0h>0, 점선은 h<0h<0이고 가로축은 오른쪽으로 갈수록 간격이 작다. 두 선이 위아래에서 2로 모인다. figures/slope_convergence.py

평균변화율이랑 순간변화율은 뭐가 달라?

평균변화율은 두 점 사이의 기울기이고, 순간변화율은 그 두 점을 한 점으로 모았을 때의 기울기(미분계수)다. x2x^2에서 1과 1.1 사이의 평균변화율은 2.1이고, x=1x=1에서의 순간변화율은 2다. 그래프로는 할선의 기울기와 접선의 기울기다.

미분할 때 h에 처음부터 0을 넣으면 안 돼?

그렇다, 0을 바로 넣을 수는 없다. 평균변화율의 분모가 hh라서 0을 넣으면 0으로 나누게 된다. x2x^2의 x=1x=1에서 h=0.01h=0.01이면 변화율은 2.01이고, 미분계수는 이런 값들이 모이는 2다. 그래서 h≠0h\ne0인 채로 식을 정리한 다음 극한을 구한다(식 (2)).

접선은 근처 함수값을 어떻게 예측하나

접선은 기준점 근처의 함수값을 직선으로 어림한다. 기울기에 입력 변화량을 곱한 것이 출력 변화량의 어림값이다. 기준점 aa에서의 접선을 ℓa(x)\ell_a(x)로 쓰자.

ℓa(x)=f(a)+f′(a)(x−a),ℓ1(1+h)=1+2h,f(1+h)=1+2h+h2.(3)\begin{aligned} \ell_a(x)&=f(a)+f'(a)(x-a),\\ \ell_1(1+h)&=1+2h,\\ f(1+h)&=1+2h+h^2. \end{aligned} \tag{3}

22 ℓ\ell은 직선(line)의 머리글자다. 시그마 페이지에서 데이터 하나의 손실로 쓴 ℓi\ell_i와는 다른 기호다.

입력을 1에서 1.1로 바꿔 보자. 접선은 출력을 1+2×0.1=1.21+2\times0.1=1.2로 예측하고, 실제 출력은 1.12=1.211.1^2=1.21이라 오차는 0.01이다. 입력 간격이 0.01이면 예측은 1.02, 실제는 1.0201이고 오차는 0.0001이다.

식 (3)의 둘째 줄과 셋째 줄을 비교하면 오차는 정확히 h2h^2이다. 그래서 이 함수에서는 간격을 10분의 1로 줄이면 오차가 100분의 1이 된다. 그림 4의 위에서 h=1h=1이면 접선은 3, 실제 값은 4라 차이가 1로 크다. 기준점 근처를 확대한 아래에서는 h=0.1h=0.1의 차이 0.01이 거의 보이지 않는다. 미분가능한 다른 함수에서는 오차가 꼭 h2h^2은 아니지만, 오차를 간격으로 나눈 값이 0으로 간다.

f(x)=x^2와 x=1에서의 접선 y=2x-1(점선). 위는 h=1에서 예측 3과 실제 4의 차이 1, 아래는 위의 네모 칸을 확대해 h=0.1에서 예측 1.2와 실제 1.21의 차이 0.01을 표시한다.
그림 4 f(x)=x2f(x)=x^2와 x=1x=1에서의 접선 y=2x−1y=2x-1(점선). 위는 h=1h=1에서 예측 3과 실제 4의 차이 1, 아래는 위의 네모 칸을 확대해 h=0.1h=0.1에서 예측 1.2와 실제 1.21의 차이 0.01을 표시한다. figures/tangent_zoom.py

접선은 그래프와 딱 한 번만 만나는 직선이야?

아니다. 접선은 만나는 횟수가 아니라, 한 점을 지나고 기울기가 그 점의 미분계수인 직선으로 정한다. x2x^2의 접선은 그 점에서만 만나지만, 직선 y=2xy=2x의 접선은 그래프 전체와 겹친다.

연속인데 미분이 안 되는 경우도 있다

함수값이 끊기지 않아도 좌우 기울기가 다르면 미분할 수 없다. 반례 함수 G(x)=∣x−1∣G(x)=\lvert x-1\rvert은 x=1x=1에서 연속이지만 그래프가 꺾인다.

G(1+h)−G(1)h=∣h∣h={−1,h<0,1,h>0.(4)\frac{G(1+h)-G(1)}{h}=\frac{\lvert h\rvert}{h}= \begin{cases} -1,&h<0,\\ 1,&h>0. \end{cases} \tag{4}

그림 5에서 왼쪽 기울기는 −1, 오른쪽 기울기는 1이다. hh의 절댓값을 0.1에서 0.001로 줄여도 두 값은 그대로다. 양쪽이 모이는 값이 없어 G′(1)G'(1)은 존재하지 않는다.

식 (4)는 x=1+hx=1+h로 쓰면 극한 페이지의 g(x)=∣x−1∣/(x−1)g(x)=\lvert x-1\rvert/(x-1)이다. 좌극한 −1과 우극한 1이 달라 극한이 없던 바로 그 함수다. 조각함수의 경계에서 상수를 정하는 문제와 그래프에서 미분가능하지 않은 점을 찾는 법은 미분가능성과 연속성에서 다룬다.

G(x)=| x-1|의 꼭짓점 (1,0). 함수는 연속이지만 왼쪽 직선의 기울기는 −1, 오른쪽은 1이어서 양쪽 미분계수가 같지 않다.
그림 5 G(x)=∣x−1∣G(x)=\lvert x-1\rvert의 꼭짓점 (1,0)(1,0). 함수는 연속이지만 왼쪽 직선의 기울기는 −1, 오른쪽은 1이어서 양쪽 미분계수가 같지 않다. figures/corner_slopes.py

미분가능하면 반드시 연속이야?

그렇다. 정의역 안쪽의 점에서 미분가능한 함수는 그 점에서 연속이다. 거꾸로는 성립하지 않아, ∣x−1∣\lvert x-1\rvert은 x=1x=1에서 연속이지만 좌우 기울기가 −1과 1이라 미분할 수 없다. 수직 접선처럼 변화율의 절댓값이 끝없이 커지는 점에도 미분계수는 없다.

미분계수와 도함수는 무엇이 다른가

미분계수는 한 입력에서 얻은 수이고, 도함수는 입력마다 그 수를 돌려주는 함수다. f(x)=x2f(x)=x^2이면 f′(1)=2f'(1)=2는 미분계수, f′(x)=2xf'(x)=2x는 도함수다. ‘미분한다’는 말은 문맥에 따라 도함수를 구하는 일도, 한 점의 미분계수를 구하는 일도 가리킨다.

ddx\dfrac{d}{dx}는 ‘xx에 대해 미분한다’는 연산 기호다. y=x2y=x^2으로 두면 같은 도함수를 y′=2xy'=2x, dydx=2x\dfrac{dy}{dx}=2x, ddxx2=2x\dfrac{d}{dx}x^2=2x로 쓴다.

핵심

미분은 평균변화율이 모이는 값으로 한 점의 기울기를 구하는 일이다. 그 값 하나가 미분계수이고, 점마다 그 값을 돌려주는 함수가 도함수다.

미분 공식 — xⁿ을 미분하면 왜 n·xⁿ⁻¹인가

xnx^n의 평균변화율을 전개하면 hh가 곱해지지 않은 항이 nan−1na^{n-1} 하나뿐이라, hh를 0으로 보내면 그것만 남기 때문이다. 매번 극한을 전개하지 않도록 이런 결과를 미분 공식으로 모아 둔다. 아래에서 cc는 상수, nn은 양의 정수이고, ff와 gg는 미분가능한 함수다.

(c)′=0,(xn)′=nxn−1,(f+g)′=f′+g′,(cf)′=cf′.(5)\begin{aligned} (c)'&=0,\\ (x^n)'&=nx^{n-1},\\ (f+g)'&=f'+g',\\ (cf)'&=cf'. \end{aligned} \tag{5}

n=2n=2인 경우가 식 (2)다. n=3n=3이면 (a+h)3−a3=3a2h+3ah2+h3(a+h)^3-a^3=3a^2h+3ah^2+h^3이라 평균변화율이 3a2+3ah+h23a^2+3ah+h^2이고, 극한은 3a23a^2이다. a=1a=1, h=0.1h=0.1이면 평균변화율은 3.31이고 미분계수는 3이다.

공식을 이어 쓰면 3x2+53x^2+5의 도함수는 3×2x+0=6x3\times2x+0=6x다. 상수 5는 그래프를 위아래로 옮길 뿐 기울기를 바꾸지 않는다. 양의 정수 nn 전체에 대한 유도는 도함수에, 실수배·합·차로 다항함수를 미분하는 연습은 다항함수의 미분에 있다. 로그와 지수함수의 미분은 로그 함수 페이지에, 합성함수의 미분은 연쇄법칙 페이지에 있다.

미분계수의 정의로 변형된 극한은 어떻게 구하나

분모를 분자의 두 입력의 차와 같게 맞추면 미분계수의 정의 꼴이 되고, 맞추느라 곱한 수가 앞에 남는다. f(x)=x2f(x)=x^2, f′(1)=2f'(1)=2로 가장 흔한 두 꼴을 계산한다.

lim⁡h→0f(1+3h)−f(1)h=lim⁡h→0f(1+3h)−f(1)3h×3=3f′(1)=6.(6)\begin{aligned} \lim_{h\to0}\frac{f(1+3h)-f(1)}{h} &=\lim_{h\to0}\frac{f(1+3h)-f(1)}{3h}\times3\\ &=3f'(1)=6. \end{aligned} \tag{6}

분자의 두 입력 1+3h1+3h와 1의 차는 3h3h인데 분모는 hh다. 3h3h를 새 증분 kk로 보면 h→0h\to0일 때 k→0k\to0이라 첫 분수는 f′(1)f'(1)로 간다. 직접 계산해도 분자는 6h+9h26h+9h^2이라 분수는 6+9h6+9h이고, h=0.01h=0.01이면 6.09다.

f(1+h)−f(1−h)h=f(1+h)−f(1)h+f(1−h)−f(1)−h,lim⁡h→0f(1+h)−f(1−h)h=f′(1)+f′(1)=4.(7)\begin{aligned} \frac{f(1+h)-f(1-h)}{h} &=\frac{f(1+h)-f(1)}{h}+\frac{f(1-h)-f(1)}{-h},\\ \lim_{h\to0}\frac{f(1+h)-f(1-h)}{h}&=f'(1)+f'(1)=4. \end{aligned} \tag{7}

둘째 꼴은 가운데에 f(1)f(1)을 빼고 더해 두 분수로 나눈다. 뒤의 분수는 증분이 −h-h인 평균변화율이라 역시 f′(1)f'(1)로 간다. 제곱함수에서는 (1+h)2−(1−h)2=4h(1+h)^2-(1-h)^2=4h라 hh와 상관없이 정확히 4다.

미분의 흔한 오해

  • 연속인 곡선은 어디서나 미분된다 — ∣x−1∣\lvert x-1\rvert은 연속이지만 x=1x=1에서 좌우 기울기 −1과 1이 다르다(질문 ‘미분가능하면 반드시 연속이야?’).
  • 미분계수가 0이면 반드시 최솟값이다 — x3x^3은 x=0x=0에서 미분계수가 3×02=03\times0^2=0이지만, 음수 입력에서는 함수값도 음수라 0은 최솟값이 아니다.

미분은 AI에서 어디에 쓰이나

선택 확장: 이 절은 미분을 AI 학습에 적용한다. 교과의 미분계수 개념만 공부할 때는 건너뛰어도 된다.

신경망 학습은 손실이 파라미터 변화에 얼마나 민감한지를 미분으로 구한다. 파라미터가 여러 개면 다른 값을 고정하고 하나씩 미분한 편미분을 모으고, 그 묶음이 그래디언트다. 여기서는 파라미터가 하나인 손실 L(θ)=θ2L(\theta)=\theta^2로 경사하강법 한 걸음을 본다.

정의
기호이름원어뜻
LL손실 함수loss function작을수록 좋은 값. 이 예시에서는 θ2\theta^2
θt\theta_t파라미터parametertt번째 걸음에서의 값. 처음 값이 θ0\theta_0
η\eta학습률learning rate한 걸음의 크기를 정하는 양수
L′(θ)=2θ,θt+1=θt−ηL′(θt),θ1=1−0.1×2=0.8.(8)\begin{aligned} L'(\theta)&=2\theta,\\ \theta_{t+1}&=\theta_t-\eta L'(\theta_t),\\ \theta_1&=1-0.1\times2=0.8. \end{aligned} \tag{8}

식 (8)의 마지막 줄은 θ0=1\theta_0=1, η=0.1\eta=0.1을 넣은 것이다. 미분계수 L′(1)=2L'(1)=2가 양수이므로 손실을 줄이는 방향은 왼쪽이고, 0.1×2=0.20.1\times2=0.2만큼 움직인다. 손실은 1에서 0.82=0.640.8^2=0.64로 줄어든다.

걸음이 너무 크면 이 예시에서도 손실이 는다. η=1.5\eta=1.5면 θ1=1−1.5×2=−2\theta_1=1-1.5\times2=-2로 넘어가 손실이 4가 된다.

이 페이지PyTorch에서의 대응
파라미터 θ0\theta_0torch.tensor(1.0, requires_grad=True)로 만든 리프 텐서
손실 LLloss = theta.square()로 만든 스칼라 텐서
L′(θ0)L'(\theta_0)loss.backward() 후 theta.grad. 이 예시에서는 2
학습률 η\etatorch.optim.SGD([theta], lr=0.1)의 lr
식 (8)의 갱신모멘텀·가중치 감쇠가 없는 SGD의 optimizer.step()

학습 루프 전체는 경사하강법 페이지가 다룬다. 여러 연산의 미분을 잇는 규칙이 연쇄법칙이고, 그것을 신경망 전체에 적용하는 절차가 역전파다.

자동미분도 입력을 아주 조금 바꿔 가며 계산해?

아니다. PyTorch 자동미분은 입력을 바꿔 보지 않고, 기록해 둔 연산마다 미분 공식을 적용해 잇는다. θ2\theta^2의 θ=1\theta=1에서는 h=0.001h=0.001을 고르는 대신 공식 2θ2\theta로 기울기 2를 바로 구한다. 작은 hh로 평균변화율을 재는 쪽은 수치미분이고, torch.autograd.gradcheck가 검증에만 쓴다.

∣x−1∣\lvert x-1\rvert의 꼭짓점처럼 미분이 없는 점에서도 자동미분은 수 하나를 돌려준다. PyTorch 문서는 볼록한 함수의 그런 점에서, 가능한 기울기 가운데 크기가 가장 작은 것을 쓴다고 적는다. 이 꼭짓점에서는 −1과 1 사이에서 고르니 0이다. 그래서 돌려받은 수가 있다는 것만으로 미분가능하다고 판단하지 않는다.

코드로 확인하기

코드는 정의의 분수식과 정리한 식 2a+h2a+h를 나란히 계산한다. 위젯에서 기준 입력 aa와 간격을 움직이면 할선의 기울기가 접선의 기울기에 가까워진다.

수식
qh(a)=(a+h)2−a2h=2a+h(h≠0).(2)\begin{aligned} \sym{slope}{q}_{\sym{h}{h}}(\sym{a}{a}) &=\frac{(a+h)^2-a^2}{h}\\ &=2a+h\quad(h\ne0). \end{aligned} \tag{2}
코드 figures/difference_quotient.py
import numpy as np

a = 1.0
h = np.array([0.1, 0.01, 0.001, -0.001])
# 식 (2): 분수식과 h != 0에서 정리한 식
slope = ((a + h) ** 2 - a ** 2) / h
exact = 2 * a + h
for step, numeric, simplified in zip(h, slope, exact):
    print(f"h={step: .3f}: q={numeric:.6f}, 2a+h={simplified:.6f}")
print(f"derivative = {2 * a:.1f}")
$ python difference_quotient.py
h= 0.100: q=2.100000, 2a+h=2.100000
h= 0.010: q=2.010000, 2a+h=2.010000
h= 0.001: q=2.001000, 2a+h=2.001000
h=-0.001: q=1.999000, 2a+h=1.999000
derivative = 2.0

수치미분은 간격을 작게 할수록 정확해?

어느 선까지만 그렇다. 정확한 계산에서는 x2x^2의 평균변화율 오차가 간격 ∣h∣\lvert h\rvert와 같아, 간격이 작을수록 정확하다. 컴퓨터에서는 가까운 두 함수값을 뺄 때 유효 숫자를 잃는다. float64에서 1.0 + 1e-16은 1.0으로 반올림되어, 분수식이 2 대신 0을 낸다.

직접 해보기

  1. 같은 제곱 함수에서 a=2a=2, h=−0.01h=-0.01이면 평균변화율과 미분계수는 얼마인가?
답

식 (2)에서 평균변화율은 4−0.01=3.994-0.01=3.99, 미분계수는 4다.

  1. a=1a=1의 접선으로 f(1.01)f(1.01)을 예측하고 실제 값과 비교하자.
답

예측은 1+2×0.01=1.021+2\times0.01=1.02다. 실제 값 1.012=1.02011.01^2=1.0201과의 차이는 0.012=0.00010.01^2=0.0001이다.

  1. 공식을 쓰지 말고 식 (1)만으로 g(x)=x2−3xg(x)=x^2-3x의 x=1x=1에서의 미분계수를 구하자.
답

g(1)=1−3=−2g(1)=1-3=-2이고 g(1+h)=(1+h)2−3(1+h)=h2−h−2g(1+h)=(1+h)^2-3(1+h)=h^2-h-2다. 평균변화율은 h2−hh=h−1\dfrac{h^2-h}{h}=h-1 (h≠0)(h\ne0)이다. h→0h\to0이면 −1-1이므로 g′(1)=−1g'(1)=-1이다. 이 점의 접선은 오른쪽 아래로 기운다.

  1. f(x)=x2f(x)=x^2일 때 lim⁡h→0f(2−2h)−f(2)h\displaystyle\lim_{h\to0}\frac{f(2-2h)-f(2)}{h}는 얼마인가?
답

분자의 두 입력의 차는 −2h-2h이므로 분모를 −2h-2h로 맞추고 −2-2를 곱한다. 극한은 −2f′(2)=−2×4=−8-2f'(2)=-2\times4=-8이다. 직접 전개하면 분자가 −8h+4h2-8h+4h^2이라 분수는 −8+4h-8+4h이고, 같은 값 −8-8로 간다.

  1. 선택 확장: 식 (8)과 같은 손실에서 θ0=−1\theta_0=-1, η=0.1\eta=0.1이면 θ1\theta_1은 얼마인가?
답

미분계수는 L′(−1)=−2L'(-1)=-2다. θ1=−1−0.1×(−2)=−0.8\theta_1=-1-0.1\times(-2)=-0.8로, 음의 기울기 반대 방향인 오른쪽으로 움직인다. 손실은 1에서 0.64가 된다.

더 읽기

  • Calculus 1, 3.1 Defining the Derivative — Strang·Herman, 2016. 할선에서 접선으로 이어지는 정의. ‘미분계수는 평균변화율의 극한이다’의 근거이며 변화율 예제를 더 볼 수 있다.
  • Calculus 1, 3.2 The Derivative as a Function — Strang·Herman, 2016. 도함수와 미분가능성. ‘미분계수와 도함수는 무엇이 다른가’와 ‘연속인데 미분이 안 되는 경우도 있다’의 조건과 반례를 확인할 수 있다.
  • Calculus 1, 3.3 Differentiation Rules — Strang·Herman, 2016. 기본 미분 규칙. ‘미분 공식 — xⁿ을 미분하면 왜 n·xⁿ⁻¹인가’의 식 (5)를 넓혀 읽을 수 있다.
  • Autograd mechanics — PyTorch 공식 문서, 수시 갱신. ‘미분은 AI에서 어디에 쓰이나’의 그래프 기록과 미분 불가능한 점에서 돌려주는 값의 규칙을 확인한다.
  • SGD — PyTorch 공식 문서, 수시 갱신. 식 (8)에 대응하는 lr, momentum, weight_decay와 갱신 순서를 확인한다.

영상 노트

영상 노트
  • 00:00 구간단속의 평균 속도와 지금 이 순간의 속도
  • 00:40 식 (1)의 두 꼴과 그림 1의 Δx·Δy, 교과서 표기와 맞추기
  • 01:40 식 (2)를 전개해 기울기 2 얻기
  • 02:40 그림 2에서 할선을 접선으로 보내기
  • 03:30 그림 3에서 양쪽 변화율이 2로 모이는 모습 읽기
  • 04:20 식 (3)과 그림 4로 근처 함수값 예측하고 오차 h² 확인하기
  • 05:20 그림 5의 꼭짓점과 식 (4)
  • 06:10 미분계수 2와 도함수 2x 구분하기
  • 06:50 식 (5)의 미분 공식과 n = 3 전개
  • 07:40 식 (6), (7)로 정의를 변형한 극한 계산하기
  • 08:40 식 (8)로 학습 한 걸음 계산하기

지도에서의 위치

함수의 극한미적분미분지금 이 페이지활성화 함수예정연쇄법칙미적분도함수미적분미분가능성과 연속성미적분그래디언트미적분편미분예정곱의 미분법미적분
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-12 · 에이전트 초안 (수식 6, 그림 3, 코드랩 1)
  2. 2026-11-12 · 그래디언트·연쇄법칙 페이지 연결
  3. 2026-11-13 · 역전파 페이지 연결
  4. 2026-11-13 · 독자 패널 리뷰 반영 — 직관을 구간단속 장면으로, 교과서 표기(평균변화율·순간변화율·Δy/Δx·dy/dx·y′) 다리, 미분 공식 절을 따로 두고 n = 3 유도 추가, 반례 함수 기호를 G로, 갱신식을 경사하강법 페이지의 표기로, 그림 3 라벨 위치
  5. 2026-11-15 · 교과 검수 반영 — 증분 용어와 AI 확장 범위를 명시하고 관련 개념을 별칭과 구분
  6. 2026-11-16 · 전수 검수 반영 — 미분계수의 x→a 꼴과 구간 평균변화율, 정의를 변형한 극한 절, 해보기 2문항, 이웃 교과 글 연결, 가로 패널 그림을 한 장으로 다시 그림, 꼭짓점 그림의 글자를 키움 (에이전트 수정, 그림 3→5)
  7. 2026-11-16 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림