AI역전파#019

역전파

Backpropagation

역전파(오차역전파법)는 신경망의 출력에서 입력 쪽으로 거슬러 가며 손실의 그래디언트를 구하는 알고리즘이다. 가중치가 3과 2인 가장 작은 신경망에서 손실 8의 그래디언트 (8, 12)를 손으로 계산한다. 덧셈·곱셈 노드의 규칙, 수치미분보다 빠른 이유, 경사하강법 한 걸음까지 따라간다.

주인공 기호
ū
읽는 시간
약 12분
선수 개념
연쇄법칙경사하강법

직관 — 탄 빵에서 오븐 손잡이까지 거슬러 가기

직관

한 오븐에서 구운 빵 두 종류가 모두 타서 나왔다. 먼저 오븐 온도가 1도 오르면 두 빵이 각각 얼마나 더 타는지 구해 더한다. 그 합에 손잡이 한 칸이 올리는 온도를 곱하면 손잡이의 책임이 나오고, 손잡이가 여럿이어도 온도까지의 합은 다시 쓴다.

오븐 온도는 공유 중간값, 두 빵의 탄 정도는 손실의 두 항, 손잡이는 파라미터에 대응한다. 결과에서 원인 쪽으로 거슬러 가는 이 순서가 이름의 '역'이다. 신경망에서는 손잡이가 수많은 가중치이고, 학습의 걸음마다 이 계산으로 가중치마다의 그래디언트(기울기)를 구한다.

역전파는 연쇄법칙을 손실에서 거꾸로 적용하는 알고리즘이다

역전파(backpropagation, 오차역전파법)는 신경망의 손실에서 출발해 입력 쪽으로 거꾸로 가며, 모든 파라미터의 그래디언트를 구하는 알고리즘이다. 연쇄법칙이 미분을 잇는 규칙이라면, 역전파 알고리즘은 그 규칙을 적용하는 순서를 정해 같은 중간 미분값을 한 번만 계산한다. 여기서 미분값은 한 점에서의 미분계수, 곧 순간 변화율이다.

오차역전파법이랑 역전파는 같은 말이야?

같은 말이다. 한국어 교재는 오차역전파법이나 오차역전파라고 쓰고, '오차 역전파'로 띄어 쓰기도 한다. 1986년 Rumelhart·Hinton·Williams의 논문 제목이 'Learning representations by back-propagating errors', 곧 오차를 거꾸로 전파해 표현을 학습하기다. 아래 신경망 예제에서도 거꾸로 가며 가장 먼저 구하는 값이 출력과 목표의 차이인 오차 6−2=46-2=4다.

순전파와 역전파는 무엇이 다른가

순전파는 입력에서 손실 쪽으로 값을 계산하고, 역전파는 손실에서 입력 쪽으로 미분값을 계산한다. 같은 계산 그래프를 서로 반대 방향으로 한 번씩 지나간다.

계산 그래프는 연산의 입력과 출력 사이의 의존 관계를 점과 화살표로 그린 것이다. 예시는 선형 계산 uu 하나를 손실의 두 항이 함께 쓰는 작은 그래프다.

u=wx+c,r=u−t,a=12u2,b=12r2,L=a+b(1)\begin{gathered} u=wx+c,\qquad r=u-t,\\ a=\tfrac12u^2,\qquad b=\tfrac12r^2,\\ L=a+b \end{gathered} \tag{1}
정의
기호이름원어뜻
xx입력input관측값 1. 학습으로 바꾸지 않는다
w,cw,c가중치·편향weight / bias학습으로 바꿀 파라미터 둘. 3과 1
tt목표값target value출력이 맞춰야 할 값 2. 다른 페이지의 반복 횟수 tt가 아니다
u,ru,r중간값·오차intermediate / residual선형 계산의 출력과, 거기서 목표값을 뺀 값(잔차)
a,ba,b손실 항loss term같은 uu에서 갈라져 계산한 두 항
LL손실 함수loss function최종 출력인 수 하나
uˉ\bar u역방향 미분값adjoint value막대를 얹은 기호. ∂L/∂u\partial L/\partial u, 곧 그 값이 손실에 미치는 민감도

x=1, t=2, w=3, c=1x=1,\ t=2,\ w=3,\ c=1을 넣으면 순전파는 u=4u=4, r=2r=2, a=8a=8, b=2b=2를 차례로 얻고 손실은 10이다. 가중치 3, 편향 1, 입력 1은 연쇄법칙 페이지와 같은 점이다. 그 페이지의 손실 u2u^2에서는 가중치와 입력의 미분값이 8과 24였고, 손실이 달라진 여기서는 6과 18이 된다. 그림 1의 위쪽이 순전파, 아래쪽이 역전파다.

위는 x=1,w=3,c=1,t=2의 순전파로 u=4,r=2,a=8,b=2,L=10을 얻은 그래프다. 아래는 손실에서 시작해 bar u=6,bar w=6,bar c=6,bar x=18을 구한 역전파이고, 화살표 옆의 수는 그 간선에서 곱하는 국소 미분값이다.
그림 1 위는 x=1,w=3,c=1,t=2x=1,w=3,c=1,t=2의 순전파로 u=4,r=2,a=8,b=2,L=10u=4,r=2,a=8,b=2,L=10을 얻은 그래프다. 아래는 손실에서 시작해 uˉ=6,wˉ=6,cˉ=6,xˉ=18\bar u=6,\bar w=6,\bar c=6,\bar x=18을 구한 역전파이고, 화살표 옆의 수는 그 간선에서 곱하는 국소 미분값이다. figures/forward_reverse.py

역전파는 어떻게 계산하나 — 1에서 시작해 거꾸로 곱하고 더한다

역전파는 손실의 미분값 1에서 시작해, 간선을 거꾸로 지날 때마다 국소 미분값을 곱하고, 한 노드로 모이는 값은 더한다. 시작값이 1인 것은 손실을 자기 자신으로 미분하면 1이기 때문이다.

zˉ=∂L∂z,Lˉ=1(2)\bar z=\frac{\partial L}{\partial z},\qquad \bar L=1 \tag{2}

막대를 얹은 zˉ\bar z는 값 zz 자체가 아니라 손실을 zz로 미분한 값이다. 예시의 u=4u=4와 uˉ=6\bar u=6은 서로 다른 양이다. 노드 하나가 입력 p,qp,q를 받아 z=f(p,q)z=f(p,q)를 내보낸다면, 받은 zˉ\bar z에 국소 미분값을 곱해 두 입력에 더해 준다.

pˉ←pˉ+zˉ ∂z∂p,qˉ←qˉ+zˉ ∂z∂q(3)\begin{gathered} \bar p\leftarrow\bar p+\bar z\,\frac{\partial z}{\partial p},\\ \bar q\leftarrow\bar q+\bar z\,\frac{\partial z}{\partial q} \end{gathered} \tag{3}

화살표는 지금 값에 새 기여를 더해 덮어쓴다는 뜻이고, 손실 말고는 모두 0에서 시작한다. 연쇄법칙 페이지처럼 한 경로를 따라 곱한 값을 그 경로의 기여라 부른다. 예시의 노드마다 국소 미분값은 다음과 같다.

노드국소 미분값예시의 값
L=a+bL=a+b∂L/∂a=1, ∂L/∂b=1\partial L/\partial a=1,\ \partial L/\partial b=11, 1
a=12u2a=\tfrac12u^2∂a/∂u=u\partial a/\partial u=u4
b=12r2b=\tfrac12r^2∂b/∂r=r\partial b/\partial r=r2
r=u−tr=u-t∂r/∂u=1\partial r/\partial u=11
u=wx+cu=wx+c∂u/∂w=x, ∂u/∂c=1, ∂u/∂x=w\partial u/\partial w=x,\ \partial u/\partial c=1,\ \partial u/\partial x=w1, 1, 3

식 (3)을 손실 쪽부터 적용한다. 먼저 LL에서 두 손실 항으로, 이어서 bb에서 rr로 간다.

aˉ=bˉ=1×1=1,rˉ=bˉ×r=2(4)\begin{gathered} \bar a=\bar b=1\times1=1,\\ \bar r=\bar b\times r=2 \end{gathered} \tag{4}

한 노드는 손실 쪽에서 오는 기여가 모두 모인 뒤에 처리한다. 이 순서를 의존 관계의 역순이라고 한다.

역전파는 왜 손실값이 아니라 1에서 시작해?

역전파가 거꾸로 넘기는 것은 손실값이 아니라 손실의 변화율이기 때문이다. 손실이 10이어도 시작값은 ∂L/∂L=1\partial L/\partial L=1이다. 손실을 두 배로 정의하면 시작값은 여전히 1이고, 파라미터의 미분값이 두 배가 된다.

공유한 중간값에서는 왜 더해서 넘기나

같은 중간값이 손실에 두 경로로 영향을 주기 때문이다. uu는 aa로 가는 경로에서 기여 4를, rr을 거쳐 bb로 가는 경로에서 기여 2를 받아 uˉ=6\bar u=6이 된다.

uˉ=aˉ×u+rˉ×1=4+2=6(5)\begin{gathered} \bar u=\bar a\times u+\bar r\times1\\ =4+2=6 \end{gathered} \tag{5}

두 기여를 모은 uˉ=6\bar u=6을 w,c,xw,c,x가 함께 쓴다.

wˉ=uˉ×x=6,cˉ=uˉ×1=6,xˉ=uˉ×w=18(6)\begin{gathered} \bar w=\bar u\times x=6,\qquad \bar c=\bar u\times1=6,\\ \bar x=\bar u\times w=18 \end{gathered} \tag{6}

코드의 adj_u = adj_a * u + adj_residual이 식 (5)다. 한쪽 기여로 덮어쓰면 4나 2만 남아 올바른 값 6이 되지 않는다. 목표값 tt는 고정한 수라 미분값을 구하지 않는다.

핵심

역전파는 손실에서 출발해 거꾸로 가며, 한 번 구한 중간 미분값을 다시 써서 모든 파라미터의 그래디언트를 구한다. 이 예시에서는 두 경로의 기여 4+2=64+2=6을 가중치와 편향이 함께 쓴다.

역전파는 왜 뒤에서부터 거꾸로 계산해?

손실은 하나이고 파라미터는 많아서, 손실 쪽에서 출발해야 중간 미분값을 모든 파라미터가 함께 쓸 수 있기 때문이다. 역전파는 순전파 한 번과 역방향 한 번으로 모든 파라미터의 미분값을 구한다. 파라미터를 하나씩 흔드는 수치미분은 손실을 파라미터 수보다 한 번 더 계산해야 해서, 파라미터가 둘인 이 예시는 3번, 100만 개면 100만 1번이다.

역전파에서 덧셈 노드와 곱셈 노드는 미분값을 어떻게 넘기나

덧셈 노드는 받은 미분값을 두 입력에 그대로 넘기고, 곱셈 노드는 받은 값에 상대 입력을 곱해 넘긴다. 식 (3)에 두 노드의 국소 미분값을 넣으면 이 두 규칙이 나온다.

덧셈 z=p+qz=p+q는 두 국소 미분값이 모두 1이라 pˉ=qˉ=zˉ\bar p=\bar q=\bar z다. 첫 예시의 L=a+bL=a+b가 받은 1을 aˉ=bˉ=1\bar a=\bar b=1로 나눠 준 것이 이 규칙이다. 곱셈 z=pqz=pq는 ∂z/∂p=q\partial z/\partial p=q, ∂z/∂q=p\partial z/\partial q=p라서 pˉ=zˉ q\bar p=\bar z\,q, qˉ=zˉ p\bar q=\bar z\,p로 서로 바꿔 곱한다.

u=wx+cu=wx+c를 곱 wxwx와 덧셈 +c+c로 나눠 보자. 덧셈이 uˉ=6\bar u=6을 곱 wxwx에 그대로 넘기고, 곱셈이 wˉ=6×1=6\bar w=6\times1=6, xˉ=6×3=18\bar x=6\times3=18을 낸다. 식 (6)이 이 계산이다. xˉ\bar x가 wˉ\bar w의 세 배인 것은 상대 입력 w=3w=3이 x=1x=1의 세 배이기 때문이다. 한 값이 여러 노드로 갈라지는 분기에서는 식 (5)처럼 기여를 더한다.

그림 2는 세 규칙을 첫 예시의 값으로 그린 것이다. 간선마다 위쪽 수가 순전파 값, 아래쪽 수가 역방향 값이다.

첫 예시의 세 부분. 위는 덧셈 노드 L=a+b로, 받은 1을 두 입력에 그대로 넘긴다. 가운데는 곱셈 노드 wx로, 받은 6에 상대 입력을 곱해 bar w=6, bar x=18을 낸다. 아래는 u=4가 a와 r로 갈라지는 분기로, 돌아온 기여 4와 2를 더해 bar u=6이 된다. 간선 위쪽 수는 순전파 값, 아래쪽 수는 역방향 값이다.
그림 2 첫 예시의 세 부분. 위는 덧셈 노드 L=a+bL=a+b로, 받은 1을 두 입력에 그대로 넘긴다. 가운데는 곱셈 노드 wxwx로, 받은 6에 상대 입력을 곱해 wˉ=6\bar w=6, xˉ=18\bar x=18을 낸다. 아래는 u=4u=4가 aa와 rr로 갈라지는 분기로, 돌아온 기여 4와 2를 더해 uˉ=6\bar u=6이 된다. 간선 위쪽 수는 순전파 값, 아래쪽 수는 역방향 값이다. figures/node_rules.py

역전파와 경사하강법은 하는 일이 다르다

역전파는 그래디언트를 계산하고, 경사하강법은 그 그래디언트로 파라미터를 바꾼다. backward()만 실행하면 가중치와 편향은 3과 1 그대로다.

정의
기호이름원어뜻
θ\theta파라미터 벡터parameter vector(w,c)(w,c)를 묶은 값
∇θL\nabla_\theta L그래디언트gradient(wˉ,cˉ)(\bar w,\bar c), 곧 w,cw,c에 대한 손실의 편미분을 모은 벡터
η\eta학습률learning rate그래디언트에 곱해 걸음을 정하는 양의 배율
θnew=θ−η∇θL=(3,1)−0.1×(6,6)=(2.4, 0.4)(7)\begin{gathered} \theta_{\mathrm{new}}=\theta-\eta\nabla_\theta L\\ =(3,1)-0.1\times(6,6)=(2.4,\,0.4) \end{gathered} \tag{7}

새 점에서 순전파를 다시 하면 u=2.8u=2.8, r=0.8r=0.8이고 손실은 2.82/2+0.82/2=4.242.8^2/2+0.8^2/2=4.24다. 손실을 10에서 4.24로 줄인 것은 역전파가 아니라 식 (7)의 갱신이다.

그림 3은 가중치·편향 평면의 등고선과 이 한 걸음이다. x=1x=1이면 u=w+cu=w+c여서 손실은 12u2+12(u−2)2=(u−1)2+1\tfrac12u^2+\tfrac12(u-2)^2=(u-1)^2+1이다. 그래서 점선 w+c=1w+c=1 위의 모든 점에서 손실이 최솟값 1이다.

x=1,t=2를 고정한 손실의 등고선. (w,c)=(3,1)에서 그래디언트 (6,6)과 학습률 0.1로 (2.4,0.4)에 도착하며 손실은 10에서 4.24로 줄어든다. 점선 w+c=1 전체에서 손실은 1이다.
그림 3 x=1,t=2x=1,t=2를 고정한 손실의 등고선. (w,c)=(3,1)(w,c)=(3,1)에서 그래디언트 (6,6)(6,6)과 학습률 0.1로 (2.4,0.4)(2.4,0.4)에 도착하며 손실은 10에서 4.24로 줄어든다. 점선 w+c=1w+c=1 전체에서 손실은 1이다. figures/parameter_step.py

역전파 계산 예제 — 가장 작은 신경망에서 가중치를 갱신하기

층이 둘이면 앞 층 가중치의 미분값에는 뒤 층의 가중치가 곱해진다. 입력 하나, 은닉 하나, 출력 하나인 신경망에서 순전파, 손실, 역전파, 경사하강법 한 걸음을 차례로 손으로 계산한다.

m=w1x,y^=w2m,E=12(y^−t)2(8)\begin{gathered} m=w_1x,\qquad \hat y=w_2m,\\ E=\tfrac12(\hat y-t)^2 \end{gathered} \tag{8}
정의
기호이름원어뜻
w1,w2w_1,w_2앞 층·뒤 층 가중치weights은닉층과 출력층의 가중치. 3과 2
mm은닉값hidden value은닉층의 출력. 활성화 함수는 넣지 않았다
y^\hat y출력output신경망의 예측값
EE손실error출력과 목표값의 차이를 제곱해 반으로 나눈 값

입력과 목표값은 앞 예시와 같은 x=1x=1, t=2t=2다.

순서계산값
순전파m=w1x=3×1m=w_1x=3\times13
순전파y^=w2m=2×3\hat y=w_2m=2\times36
손실E=12(6−2)2E=\tfrac12(6-2)^28
역전파∂E/∂y^=y^−t=6−2\partial E/\partial\hat y=\hat y-t=6-24
역전파∂E/∂w2=4×m=4×3\partial E/\partial w_2=4\times m=4\times312
역전파∂E/∂m=4×w2=4×2\partial E/\partial m=4\times w_2=4\times28
역전파∂E/∂w1=8×x=8×1\partial E/\partial w_1=8\times x=8\times18
갱신w1←3−0.1×8,  w2←2−0.1×12w_1\leftarrow3-0.1\times8,\ \ w_2\leftarrow2-0.1\times122.2, 0.8

역전파의 첫 줄 4가 출력과 목표의 차이, 곧 오차다. 앞 층의 미분값 8은 오차 4에 뒤 층의 가중치 2를 곱해 온 값이다. 활성화 함수를 넣으면 은닉층을 지날 때 그 함수의 국소 미분값이 하나 더 곱해진다.

갱신은 학습률 0.1인 경사하강법 한 걸음이다. 새 출력은 0.8×2.2=1.760.8\times2.2=1.76이고 손실은 12(1.76−2)2=0.0288\tfrac12(1.76-2)^2=0.0288로 줄어든다. 그림 4는 같은 계산을 순전파와 역전파 두 줄로 그린 것이다.

입력 하나·은닉 하나·출력 하나인 신경망. 위는 w_1=3,w_2=2의 순전파로 m=3,hat y=6,E=8을 얻는다. 아래는 1에서 시작해 화살표 옆의 국소 미분값 4, 2, 3, 1을 곱하며 거꾸로 가서 ∂ E/∂ w_2=12, ∂ E/∂ w_1=8을 얻는다.
그림 4 입력 하나·은닉 하나·출력 하나인 신경망. 위는 w1=3,w2=2w_1=3,w_2=2의 순전파로 m=3,y^=6,E=8m=3,\hat y=6,E=8을 얻는다. 아래는 1에서 시작해 화살표 옆의 국소 미분값 4, 2, 3, 1을 곱하며 거꾸로 가서 ∂E/∂w2=12\partial E/\partial w_2=12, ∂E/∂w1=8\partial E/\partial w_1=8을 얻는다. figures/tiny_network.py

역전파에서 활성화 함수(ReLU)는 어떻게 미분해?

역전파에서 활성화 함수는 그 함수의 국소 미분값을 하나 더 곱하는 단계로 처리한다. ReLU는 음수를 0으로 바꾸고 양수는 그대로 두므로, 국소 미분값이 양수 쪽에서 1, 음수 쪽에서 0이다. 신경망 예제의 은닉값에 ReLU를 씌우면 입력 3이 양수라 미분값 8과 12가 그대로다. 앞 층 가중치가 −3이면 은닉값이 0이 되어 두 가중치의 미분값이 모두 0이다.

역전파에서 기울기 소실은 왜 생겨?

역전파가 층을 거꾸로 지날 때마다 국소 미분값을 곱하기 때문이다. 곱하는 값이 0.5인 층이 10개 이어지면 앞쪽 층의 미분값은 약 0.000977배로 줄어든다. 계산은 연쇄법칙의 ‘미분값이 작은 단계가 이어지면 왜 기울기 소실이 생기나’에 있다.

수치미분과 역전파는 어떻게 비교하나

수치미분은 파라미터를 조금 바꿔 손실 차이를 간격으로 나누고, 역전파는 연산의 미분 규칙을 잇는다. 수치미분은 간격에 따른 오차가 남고 파라미터마다 손실을 다시 계산해야 해서, 학습이 아니라 역전파 구현을 점검하는 데 쓴다.

첫 예시에서 편향을 1로 고정하면 u=w+1u=w+1이어서 손실은 ℓ(w)=w2+1\ell(w)=w^2+1이다. 가중치 3에서 간격 hh로 잰 차분몫 qhq_h는 다음과 같다. 기호는 미분 페이지를 따랐다.

qh=ℓ(3+h)−ℓ(3)h=6+h(h≠0)(9)\begin{gathered} q_h=\frac{\ell(3+h)-\ell(3)}{h}\\ =6+h\quad(h\ne0) \end{gathered} \tag{9}

간격이 0.1, 0.01, 0.001이면 차분몫은 6.1, 6.01, 6.001이고, 역전파는 간격 없이 6을 준다. 그림 5는 손실 곡선의 접선과 이 차이를 보여 준다. 두 값을 견주면 부호가 틀렸거나 빠뜨린 경로를 찾을 수 있다.

왼쪽은 편향을 1로 고정한 ℓ(w)=w^2+1과 w=3에서 기울기 6인 접선. 오른쪽은 간격 0.1, 0.01, 0.001의 차분몫 6.1, 6.01, 6.001과 역전파의 값 6을 비교한다.
그림 5 왼쪽은 편향을 1로 고정한 ℓ(w)=w2+1\ell(w)=w^2+1과 w=3w=3에서 기울기 6인 접선. 오른쪽은 간격 0.1, 0.01, 0.001의 차분몫 6.1, 6.01, 6.001과 역전파의 값 6을 비교한다. figures/gradient_check.py

역전파가 준 그래디언트를 그대로 믿으면 안 되는 경우는 언제인가

계산 그래프의 경로가 끊겼거나 미분 불가능한 연산이 있을 때다. PyTorch의 detach()나 no_grad() 안의 연산은 미분 경로를 끊어, 그 경로의 기여가 그래디언트에서 빠진다. 첫 예시에서 aa 쪽만 uu에서 끊으면 기여 4가 빠져 uˉ=2\bar u=2만 남는다. ReLU처럼 꺾인 점이 있는 연산은 그 점에서 PyTorch가 연산마다 정해 둔 값을 돌려준다.

손실이 수 하나가 아니면 무엇을 미분할지도 정해야 한다. 첫 예시는 a+ba+b로 더해 스칼라 손실 10을 만들었다. PyTorch에서 원소가 여럿인 출력은 같은 모양의 시작 미분값을 주거나, 합·평균으로 수 하나로 모은 뒤 역전파한다. 합은 평균에 원소 수를 곱한 값이라 그래디언트도 그만큼 커진다.

역전파의 흔한 오해

  • 역전파는 손실값을 거꾸로 보낸다 — 거꾸로 가는 것은 미분값이고 시작값은 1이다. 위의 ‘역전파는 왜 손실값이 아니라 1에서 시작해?’에 있다.
  • 분기에서 마지막으로 받은 값으로 덮어써도 된다 — 두 기여 4와 2를 더하지 않으면 uˉ=6\bar u=6을 얻지 못한다.
  • 역전파를 한 번 하면 가중치가 바뀐다 — w=3,c=1w=3,c=1은 backward() 뒤에도 그대로이고, 식 (7)의 갱신을 해야 (2.4,0.4)(2.4,0.4)가 된다.

역전파는 AI에서 어디에 쓰이나

학습 루프에서 역전파는 loss.backward() 한 줄이고, 그 앞뒤의 순서는 경사하강법에 있다. 선형층·활성화 함수·손실 연산으로 신경망이 커져도, 국소 미분값을 곱해 입력 쪽으로 넘기는 원리는 같다. PyTorch는 순전파 때 기록한 계산 그래프로 이 과정을 자동으로 수행한다.

이 페이지PyTorch에서의 대응
w,cw,crequires_grad=True인 리프 텐서. 초기값 3과 1
u,ru,ru = w*x + c, residual = u - 2인 중간 텐서
LLloss = (u.square() + residual.square()) / 2
wˉ,cˉ\bar w,\bar closs.backward() 뒤 w.grad, c.grad에 각각 6
uˉ\bar uu.retain_grad()를 역전파 전에 부르면 u.grad에서 6 확인
η\eta모멘텀·가중치 감쇠 없는 SGD의 lr=0.1
식 (7)optimizer.step()

리프 텐서는 다른 텐서의 연산 결과가 아니라 직접 만든 입력·파라미터 텐서다. backward()는 리프 텐서의 .grad에 미분값을 더해 쌓는다. 이것이 그래디언트 누적이다. 미니배치 여러 개를 일부러 누적할 때가 아니면 새 걸음 전에 지운다.

PyTorch에서 backward를 두 번 부르려면 retain_graph가 필요해?

같은 순전파로 만든 그래프를 두 번 역전파할 때만 필요하다. 첫 backward()에 retain_graph=True를 줘야 역방향 계산에 쓸 저장값이 남는다. 학습 걸음마다 순전파를 다시 하면 새 그래프가 생겨 이 옵션이 필요 없다. .grad를 지우지 않고 같은 점에서 두 번 역전파하면 6이 12로 쌓인다.

역전파는 순전파보다 메모리를 더 써?

그렇다. 역방향 계산에 쓸 중간값을 순전파 때 저장해 두기 때문이다. 첫 예시에서는 제곱의 국소 미분값에 순전파의 u=4u=4와 r=2r=2가, 곱셈 노드에 w=3w=3이 다시 쓰인다. 일부만 저장하고 나머지를 다시 계산해 메모리를 줄이는 방법도 있다.

코드로 확인하기

코드랩은 자동미분 라이브러리 없이 NumPy로 첫 예시의 역전파를 한 줄씩 적는다. 위젯의 단계를 넘기면 순전파, 두 경로의 합산, 파라미터로 넘기는 순서를 볼 수 있다. 목표값은 2, 입력은 1로 고정하고 가중치와 편향을 움직인다.

수식
uˉ=aˉ u+rˉ,∇θL=(uˉ xuˉ).(5)\begin{gathered} \sym{adj_u}{\bar u}=\bar a\,u+\bar r,\\ \sym{grad}{\nabla_\theta L} =\begin{pmatrix}\bar u\,x\\\bar u\end{pmatrix}. \end{gathered} \tag{5}
코드 figures/manual_backward.py
import numpy as np

x, weight, bias, target = 1.0, 3.0, 1.0, 2.0
u = weight * x + bias
residual = u - target
a, b = 0.5 * np.square(u), 0.5 * np.square(residual)
loss = a + b  # 식 (1): 순전파
adj_loss = 1.0  # 식 (2)
adj_a = adj_b = adj_loss  # 식 (4)
adj_residual = adj_b * residual  # 식 (4)
adj_u = adj_a * u + adj_residual  # 식 (5): 두 경로 합산
grad = np.array([adj_u * x, adj_u])  # 식 (6)
adj_x = adj_u * weight
print(f"u={u:g}, r={residual:g}, a={a:g}, b={b:g}, L={loss:g}")
print(f"adj_u={adj_u:g}, gradient(w,c)={grad}")
print(f"adj_x={adj_x:g}")
$ python manual_backward.py
u=4, r=2, a=8, b=2, L=10
adj_u=6, gradient(w,c)=[6. 6.]
adj_x=18

직접 해보기

  1. 첫 예시에서 가중치 1, 편향 0으로 바꾸면 두 경로의 기여와 uˉ\bar u는?
답

u=1,r=−1u=1,r=-1이다. aa를 거친 기여 1과 bb를 거친 기여 −1이 합쳐져 uˉ=0\bar u=0이다. 두 파라미터의 미분값도 0이며 손실은 1/2+1/2=11/2+1/2=1이다.

  1. 첫 예시에서 가중치 3, 편향 1, 목표값 2는 그대로 두고 입력만 2로 바꾸면 uˉ\bar u, wˉ\bar w, cˉ\bar c, xˉ\bar x는?
답

순전파는 u=3×2+1=7u=3\times2+1=7, r=7−2=5r=7-2=5다. 두 경로의 기여를 더하면 uˉ=7+5=12\bar u=7+5=12다. 곱셈 노드의 규칙대로 wˉ=12×2=24\bar w=12\times2=24, xˉ=12×3=36\bar x=12\times3=36이고, 편향은 cˉ=12\bar c=12다. 입력이 1이 아니면 가중치와 편향의 미분값이 달라진다.

  1. 식 (7)로 갱신한 점에서 다시 역전파하면, uˉ\bar u와 두 파라미터의 미분값은?
답

u=2.8,r=0.8u=2.8,r=0.8이므로 uˉ=2.8+0.8=3.6\bar u=2.8+0.8=3.6이다. 입력은 그대로 1이어서 두 미분값도 각각 3.6이다. 파라미터가 바뀌면 그래디언트를 다시 계산한다.

  1. 신경망 예제에서 갱신한 가중치 2.2와 0.8로 다시 역전파하면, 두 가중치의 미분값은?
답

출력이 1.76이므로 오차는 1.76−2=−0.241.76-2=-0.24다. 뒤 층은 −0.24×2.2=−0.528-0.24\times2.2=-0.528, 앞 층은 −0.24×0.8×1=−0.192-0.24\times0.8\times1=-0.192다. 출력이 목표보다 작아져 두 미분값의 부호가 음으로 바뀌었다.

  1. 덧셈 뒤에 곱셈이 오는 z=(p+q)sz=(p+q)s에서 p=1p=1, q=2q=2, s=4s=4이고, 손실 쪽에서 zˉ=1\bar z=1이 왔다. sˉ\bar s, pˉ\bar p, qˉ\bar q는?
답

곱셈 노드는 상대 입력을 곱하므로 sˉ=1×(1+2)=3\bar s=1\times(1+2)=3이고, 합 p+qp+q 쪽에는 1×4=41\times4=4가 간다. 덧셈 노드는 그 4를 그대로 넘겨 pˉ=qˉ=4\bar p=\bar q=4다.

더 읽기

  • Deep Learning, 6.5 Back-Propagation and Other Differentiation Algorithms — Goodfellow·Bengio·Courville, 2016. ‘공유한 중간값에서는 왜 더해서 넘기나’의 계산 그래프와 중복된 연쇄법칙 계산을 줄이는 원리를 설명한다.
  • Learning representations by back-propagating errors — Rumelhart·Hinton·Williams, 1986. Nature 323, 533–536. ‘오차역전파법이랑 역전파는 같은 말이야?’에서 제목을 인용한 논문이다.
  • Automatic Differentiation in Machine Learning: a Survey — Baydin·Pearlmutter·Radul·Siskind, 2018. 3.2절. ‘역전파는 왜 뒤에서부터 거꾸로 계산해?’와 ‘역전파는 순전파보다 메모리를 더 써?’의 역방향 자동미분·저장 비용을 더 읽을 수 있다.
  • Autograd mechanics — PyTorch 공식 문서, 수시 갱신. ‘역전파가 준 그래디언트를 그대로 믿으면 안 되는 경우는 언제인가’의 미분 불가능성 처리·연산 기록·그래프 재생성을 확인한다.
  • Tensor.backward — PyTorch 공식 문서, 수시 갱신. ‘역전파는 AI에서 어디에 쓰이나’의 리프 텐서 누적, 스칼라 출력과 retain_graph를 확인한다.

영상 노트

영상 노트
  • 00:00 탄 빵에서 오븐 손잡이까지 거슬러 가는 직관
  • 00:40 식 (1)과 그림 1 위쪽의 순전파
  • 01:40 식 (2)·(3)의 시작값 1과 누적 규칙, 국소 미분값 표
  • 02:40 식 (4)~(6)으로 두 기여 4와 2를 합쳐 6 만들기
  • 03:30 그림 2로 덧셈 노드는 그대로, 곱셈 노드는 바꿔 곱하기
  • 04:20 식 (7)과 그림 3의 파라미터 갱신
  • 05:10 식 (8)과 그림 4의 가장 작은 신경망 손계산, ReLU를 씌우면
  • 06:40 식 (9)와 그림 5의 수치미분 비교
  • 07:40 기록을 끊은 경로와 미분 가능성 점검
  • 08:30 backward·step·retain_grad·retain_graph 구분
  • 09:20 코드랩에서 순전파부터 한 단계씩 따라가기

지도에서의 위치

미분미적분그래디언트미적분연쇄법칙미적분경사하강법최적화역전파지금 이 페이지자동미분예정미니배치 SGD최적화기울기 소실예정
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-13 · 에이전트 초안 (수식 5, 그림 3, 코드랩 1)
  2. 2026-11-13 · 미니배치 SGD 페이지 링크 연결
  3. 2026-11-13 · 독자 패널 리뷰 반영 — 일반 규칙의 입력 기호를 p·q로 바꿔 손실 항 a·b와 가름, 가장 작은 신경망의 손계산 예제와 그림 추가, 오차역전파법·순전파·기울기 소실 질문 추가, 국소 미분값 표와 그림 1의 간선 값, 수식을 단계별로 나눠 번호 다시 매김
  4. 2026-11-17 · 전수 검수 반영 — 덧셈·곱셈 노드와 분기의 규칙 절과 그림, ReLU를 지날 때의 질문, 본문에 답이 있던 해보기를 입력을 바꾼 문항으로 교체하고 노드 규칙 문항 추가, 등고선 그림의 라벨 겹침과 흐린 등고선 숫자 정리 (에이전트 수정, 그림 4→5)
  5. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림