직관 — 두 번 환전하면 환율도 두 번 곱한다
돈을 A 통화에서 B 통화로, 다시 C 통화로 두 번 환전한다고 하자. A 1이 B 3이고 B 1이 C 8이면, A가 1 늘 때 C는 3 곱하기 8, 곧 24 는다. 함수도 중간 단계의 변화율을 이렇게 곱해 입력의 영향을 구한다.
처음 돈은 입력, 중간 통화의 금액은 중간값, 마지막 금액은 출력에 대응한다. 환율에 대응하는 것이 각 단계의 국소 미분값(그 단계의 미분계수)이다. 환율과 달리 국소 미분값은 입력에 따라 달라져서, 지금 계산하는 점에서 구한 값을 곱한다.
신경망은 이런 단계를 여러 번 이어 붙인 함수다. 학습에 쓰는 그래디언트(기울기)를 이 규칙으로 구한다.
연쇄법칙은 합성함수의 미분을 겉미분 × 속미분으로 구한다
연쇄법칙(chain rule, 체인 룰)은 합성함수 의 미분이 바깥 함수의 미분과 안쪽 함수의 미분의 곱 라는 규칙이다. 고등학교 미적분Ⅱ 교과서의 '합성함수의 미분법'이 이것이고, '연쇄 법칙'으로 띄어 쓰기도 한다. 바깥 함수의 미분을 겉미분, 안쪽 함수의 미분을 속미분이라고도 부른다.
이 글은 교과 범위를 넘는 확장 읽기다. 한 변수 합성함수의 미분 조건과 다항식·삼각·지수·로그 예제는 합성함수의 미분에서 먼저 익힌다. 여기서는 같은 규칙을 여러 단계·여러 경로로 넓혀 역전파까지 잇는다.
합성함수는 한 함수의 출력을 다음 함수의 입력으로 쓰는 함수다. 안쪽 함수를 , 바깥 함수를 라 하자. 두 함수가 각각 와 에서 미분 가능하면 다음이 성립한다.
겉미분 에는 원래 입력 가 아니라 중간값 를 넣는다. 안쪽의 변화가 바깥에서 몇 배로 전달되는지를 그 중간값에서 재기 때문이다. 미분에서 배운 미분계수를 여러 단계로 잇는 규칙이며, 이 페이지는 한 점의 미분계수를 미분값이라 부른다.
11 이 글은 합성함수의 미분을 다룬다. 결합 확률을 조건부 확률의 곱으로 쓰는 확률의 연쇄 법칙은 별도의 규칙이다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 입력 | input | 처음 바꾸는 수 | |
| 중간값 | intermediate value | 의 출력이자 의 입력 | |
| 안쪽·바깥 함수 | inner / outer function | 계산 순서대로 먼저·나중에 쓰는 함수 | |
| 출력(손실) | loss function | 합성함수의 최종 출력. 이 페이지에서는 중간값의 제곱 | |
| 합성함수의 미분값 | derivative of the composite | 입력이 최종 출력에 미치는 순간 변화율 | |
| 국소 미분값 | local derivative | 겉미분과 속미분. 바로 이어진 두 단계 사이의 변화율 |
교과서는 의 도함수를 또는 로 쓴다. 출력을 대신 로 적었을 뿐 식 (1)과 같은 식이다.
합성함수 (3x+1)²을 미분하면 왜 2(3x+1)×3인가
제곱을 미분한 에, 안쪽 을 미분한 3을 곱하기 때문이다. 제곱이 받는 입력이 가 아니라 이라서, 속미분 3을 빠뜨리면 에서 24가 아니라 8이 나온다.
을 넣으면 , 이다. 두 단계를 따로 미분한다.
속미분 3과 겉미분 8을 식 (1)대로 곱한다.
8은 중간값을 바꿀 때의 민감도이고, 24는 처음 입력을 바꿀 때의 민감도다. 그림 1은 같은 계산을 입력·중간값·출력의 세 그래프로 위에서 아래로 쌓아 보여 준다. 가운데 그래프의 접선 기울기 8이 맨 아래 합성함수에서는 24로 바뀐다.
figures/composed_slopes.py전개해서 같은 답인지 확인하기
이다. 항별로 미분하면 이고, 에서 24다. 연쇄법칙의 과 같다. 합성 단계가 많을수록 식을 전부 전개하는 대신 국소 미분값을 잇는 편이 편리하다.
합성함수의 겉미분에는 왜 x가 아니라 안쪽 함수값을 넣어?
바깥 함수가 실제로 받은 입력이 중간값이기 때문이다. 의 에서 제곱 연산은 1이 아니라 4를 받으므로, 겉미분은 2가 아니라 8이다. 로 계산하면 이 되어 정답 24와 어긋난다.
겉미분·속미분이 뭐야?
겉미분은 바깥 함수를 중간값으로 미분한 값이고, 속미분은 안쪽 함수를 입력으로 미분한 값이다. 의 에서 겉미분은 , 속미분은 3이고, 둘의 곱 24가 합성함수의 미분값이다. 교과서 용어로는 바깥 함수의 도함수와 안쪽 함수의 도함수에 값을 넣은 것이다.
합성함수의 미분은 왜 곱하나 — 0.01이 0.03을 거쳐 0.24가 된다
입력의 작은 변화가 중간값을 속미분 배로 바꾸고, 그 변화가 출력을 다시 겉미분 배로 바꾸기 때문이다. 의 에서 입력을 0.01 늘리면 중간값은 3배인 0.03, 출력은 다시 8배인 약 0.24 늘어난다.
순간 변화율의 곱은 이 두 번의 일차 근사를 이어 붙인 것이라, 유한한 변화에는 오차가 남는다. 변화량 은 바꾼 뒤 값에서 바꾸기 전 값을 뺀 수다. 는 미분 페이지의 간격 와 같다.
이면 미분값으로 예측한 증가는 다. 실제 증가는 0.2409이고, 차이는 다. 양변을 로 나눈 차분몫은 다. 그림 2에서는 간격을 줄일수록 차분몫이 24로 모인다.
figures/chain_convergence.py연쇄법칙은 dy/dx를 분수처럼 약분해서 증명해도 돼?
미분 기호의 약분은 기억법이지 증명이 아니다. 안쪽 함수가 이면 입력을 바꿔도 중간값의 변화량이 0이라, 그 변화량으로 나눌 수 없다. 그때도 연쇄법칙은 겉미분 2와 속미분 0을 곱해 0을 준다.
입력이 두 경로로 쓰이면 연쇄법칙은 왜 더하나
입력을 조금 바꾸면 두 중간값이 함께 변하고, 출력의 변화는 두 길로 온 변화의 합이기 때문이다. 에서 를 1에서 1.01로 올리면 앞 항이 0.2409, 뒤 항이 0.0201 늘어 합 0.2610이고, 미분값의 예측 에 가깝다.
원래 예시에 으로 가는 경로를 하나 더 붙여 라 하자. 한 경로를 따라 국소 미분값을 곱한 값을 그 경로의 기여라 부른다. 전체 미분값은 경로별 기여의 합이다.
는 를 고정하고 로만 미분한 편미분이다. 에서 위쪽 경로는 과 3을, 아래쪽 경로는 1과 를 곱한다.
원래 경로의 기여 24에 새 경로의 기여 2가 더해진다. 그림 3에서 두 갈래로 나뉜 입력은 같은 라서, 두 경로의 기여를 모아야 한다.
figures/branch_paths.py연쇄법칙은 한 경로에서는 단계마다의 미분값을 곱하고, 경로가 여럿이면 경로별 곱을 더하는 규칙이다. 의 에서는 다.
연쇄법칙과 곱의 미분법은 같은 거야?
다른 규칙이다. 곱의 미분법은 이고, 연쇄법칙은 다. 다만 을 로 보면 에서 오는 길이 둘이 되어 이고, 연쇄법칙의 과 같다. 한쪽 를 고정하면 다른 쪽에 곱해진 수가 4여서, 길 하나의 기여가 이다.
세 단계 이상 합성하면 연쇄법칙은 국소 미분값을 모두 곱한다
합성이 세 단계면 연쇄법칙은 국소 미분값 세 개를 곱한다. 의 에서는 이다.
안쪽부터 , , 로 나누면 각 단계는 앞 단계의 출력을 받는다. 국소 미분값은 그 단계가 실제로 받은 값에서 구한다.
| 단계 | 식 | 에서 값 | 국소 미분값 |
|---|---|---|---|
| 1 | |||
| 2 | |||
| 3 |
세 값을 곱하면 이다. 전개한 을 미분해도 이고, 에서 48로 같다. 단계가 몇 개든 한 경로 위에서는 국소 미분값을 차례로 곱한다.
미분값이 작은 단계가 이어지면 왜 기울기 소실이 생기나
연쇄법칙이 단계마다의 국소 미분값을 곱하기 때문이다. 국소 미분값이 0.5인 단계가 10번 이어지면 곱은 약 0.000977이고, 2인 단계가 10번이면 1024다.
그림 4는 국소 미분값이 0.5, 1, 2인 단계를 번 이었을 때의 곱을 로그 눈금으로 비교한다. 0.5를 곱하면 한 단계에 절반으로, 2를 곱하면 두 배로 바뀐다. 10단계 뒤 두 곱의 비는 , 약 105만 배다. 국소 미분값이 1 근처에 머물러야 곱이 0으로 사라지거나 폭주하지 않는다.
figures/repeated_products.py깊은 신경망에서 입력 쪽 층으로 갈수록 미분값이 0에 가까워지는 현상을 기울기 소실(vanishing gradient)이라 한다. 반대로 커지는 현상은 기울기 폭주(exploding gradient)다. 두 이름의 '기울기'는 그래디언트를 가리킨다.
한 단계의 국소 미분값이 정확히 0이면 그 경로의 기여는 0이다. 식 (2)의 에서는 이어서 이다. 경로가 여럿이면 다른 경로의 기여가 남는다. 같은 입력에서 식 (6)은 이다.
연쇄법칙의 흔한 오해
- 안쪽은 그대로 두고 바깥만 미분하면 된다 — 식 (3)의 겉미분 8만 쓰면 속미분 3을 빠뜨려, 식 (4)의 24를 얻지 못한다.
- 겉미분에도 원래 입력을 넣는다 — 겉미분에는 중간값을 넣는다. 6과 24의 차이는 위의 ‘합성함수의 겉미분에는 왜 x가 아니라 안쪽 함수값을 넣어?’에 있다.
- 계산 그래프에서는 미분값을 전부 곱하면 된다 — 식 (7)은 경로 안에서 곱한 24와 2를 더해 26을 얻는다.
연쇄법칙은 AI에서 어디에 쓰이나
신경망은 선형 계산과 활성 함수 등을 합성해 손실을 만든다.
역전파는 연쇄법칙을 출력에서 입력 쪽으로 적용해, 국소 미분값을 다시 쓰며 그래디언트를 구하는 알고리즘이다.
학습 루프에서 연쇄법칙이 쓰이는 줄은 loss.backward()이고, 루프 전체는 경사하강법에 있다.
원래 예시를 가중치 와 편향 를 가진 작은 모델 , 으로 읽어 보자. 이면 로 식 (2)와 같은 점이다.
세 줄 모두 겉미분 에 속미분을 곱한 것이고, 속미분은 차례로 , 1, 이다. 각 편미분은 나머지 두 값을 고정하고 계산한다. 학습이 갱신에 쓰는 것은 가중치와 편향의 미분값이다.
| 이 페이지 | PyTorch에서의 대응 |
|---|---|
각각 requires_grad=True인 리프 텐서. 초기값 3과 1 | |
u = w * x + c | |
loss = u.square()인 스칼라 출력 | |
loss.backward() 뒤 w.grad, c.grad. 둘 다 8 | |
입력 x도 requires_grad=True인 리프일 때 x.grad에 24 |
PyTorch 중간 텐서의 .grad가 None이면 미분값도 0이야?
아니다. PyTorch는 기본으로 requires_grad=True인 리프 텐서의 .grad만 채우고, 중간 텐서의 .grad는 None으로 둔다.
이 예시의 중간값 는 미분값이 8이지만 u.grad는 None이다.
backward() 전에 u.retain_grad()를 부르면 u.grad에 8이 담긴다.
코드로 확인하기
입력과 안쪽 배율을 바꾸며 두 국소 미분값과 곱을 비교하자. 코드는 NumPy로 식 (8)의 셋째 줄을 직접 계산한다. 위젯에서는 편향을 1로 고정하고, 배율이 음수이거나 0일 때도 살핀다.
import numpy as np
x, weight, bias = 1.0, 3.0, 1.0
u = weight * x + bias
local = 2 * u
derivative = local * weight # 식 (8)
h = 0.01
finite = (np.square(weight * (x + h) + bias) - u**2) / h
print(f"u = {u:g}, L = {u**2:g}")
print(f"dL/du = {local:g}, du/dx = {weight:g}")
print(f"dL/dx = {derivative:g}")
print(f"finite difference = {finite:.5f}")$ python chain_product.py
u = 4, L = 16
dL/du = 8, du/dx = 3
dL/dx = 24
finite difference = 24.09000직접 해보기
- 원래 함수에서 이면 중간값과 합성함수의 미분값은?
답
이고 겉미분은 다. 속미분 3을 곱하면 이다.
- 입력을 1.01로 바꾸면 미분값도 그대로 24인가?
답
아니다. 중간값이 4.03이어서 이다. 1과 1.01 사이의 평균 변화율 24.09는 두 미분값 24와 24.18 사이에 있다.
- 분기 함수 에서 이면 두 경로의 기여와 합은?
답
위쪽은 , 아래쪽은 이다. 합은 6이다.
- 에서 일 때 중간값, 겉미분, 속미분, 합성함수의 미분값은?
답
안쪽 은 에서 1이다. 겉미분은 , 속미분은 이다. 곱하면 이다.
- 분기 함수 에서 이면 두 경로의 기여와 합은?
답
위쪽 경로는 에서 겉미분 에 속미분 3을 곱해 다. 아래쪽 경로는 다. 합은 이고, 미분한 식 에 을 넣어도 같다.
더 읽기
- Calculus 1, 3.6 The Chain Rule — Strang·Herman, 2016. ‘연쇄법칙은 합성함수의 미분을 겉미분 × 속미분으로 구한다’와 ‘합성함수 (3x+1)²을 미분하면 왜 2(3x+1)×3인가’의 공식·평가점·증명을 확인한다.
- Calculus 3, 4.5 The Chain Rule — Strang·Herman, 2016. ‘입력이 두 경로로 쓰이면 연쇄법칙은 왜 더하나’의 경로도와 다변수 확장을 읽을 수 있다.
- Autograd mechanics — PyTorch 공식 문서, 수시 갱신. ‘연쇄법칙은 AI에서 어디에 쓰이나’의 계산 그래프·역방향 계산·리프 텐서 누적을 확인한다.
- Tensor.retain_grad — PyTorch 공식 문서, 수시 갱신. 중간 텐서의 미분값을
.grad에 저장하는 조건을 확인한다. - Deep Learning, 8 Optimization for Training Deep Models — Goodfellow·Bengio·Courville, 2016. ‘미분값이 작은 단계가 이어지면 왜 기울기 소실이 생기나’의 반복된 곱과 기울기 소실·폭주를 더 읽을 수 있다.
영상 노트
- 00:00 두 번 환전하는 변화율의 곱 3 × 8 = 24
- 00:40 식 (1)의 겉미분·속미분과 중간값 읽기
- 01:30 식 (2)~(4)와 그림 1의 세 접선
- 02:30 식 (5)와 그림 2의 유한한 변화 비교
- 03:40 식 (6)·(7)과 그림 3의 분기에서 더하기
- 04:40 세 단계 표로 2 × 3 × 8 = 48 곱하기
- 05:10 그림 4에서 0.5와 2를 10번 곱하는 기울기 소실·폭주, 0인 국소 미분값
- 06:00 식 (8)의 입력·가중치·편향 미분 구분
- 07:00 식 (8)의 배율 슬라이더와 자동미분 연결
지도에서의 위치
- 2026-11-12 · 에이전트 초안 (수식 5, 그림 3, 코드랩 1)
- 2026-11-13 · 역전파 페이지 연결
- 2026-11-13 · 독자 패널 리뷰 반영 — 정의 문장과 합성함수의 미분법·겉미분·속미분·체인 룰 낱말 추가, 분기에서 더하는 이유를 1.01의 변화로 확인, 기울기 소실을 § 제목으로, 수식을 단계별로 나눠 번호 다시 매김
- 2026-11-16 · 전수 검수 반영 — 교과 글 합성함수의 미분으로 먼저 잇는 확장 읽기 안내, 세 단계 합성 예제, 반복 곱 그림, 직접 해보기 5문항, 좁은 화면용 그림 배치, 별칭에서 하위 개념 제외 (에이전트 수정, 그림 3→4)
- 2026-11-16 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림