AI손실함수의 기울기#299

손실함수의 기울기

Slope of a Loss Function

손실함수의 기울기는 모수를 조금 바꿀 때 손실이 변하는 방향과 빠르기를 나타낸다. 자료 (1, 2), (2, 3)의 제곱 손실에서 기울기는 5a−8이며 a=1에서 −3이다. 두 점 사이 평균변화율에서 미분계수를 얻고 그 부호로 손실이 줄어드는 쪽을 찾는다.

읽는 시간
약 7분
선수 개념
일변수 제곱 손실

직관 — 높이와 비탈을 따로 읽기

직관

언덕의 현재 높이만으로는 어느 쪽으로 내려가야 할지 알 수 없다. 발을 조금 오른쪽으로 옮겼을 때 높이가 낮아지는지 높아지는지를 봐야 한다. 손실 그래프에서도 현재 손실과 그 자리의 비탈은 서로 다른 정보다.

언덕의 가로 위치는 모수 aa, 높이는 손실 L(a)L(a), 비탈은 손실함수의 기울기다. 모수는 모형이 학습하며 고치는 수이고, 파라미터(매개변수)라고도 한다. 인공지능은 이 비탈을 읽어 모수를 고치며, 다음 글의 일변수 경사하강법이 그 반복이다. 이 글은 일변수 제곱 손실의 비탈을 숫자로 구한다.

손실함수의 기울기는 두 점 사이 평균변화율에서 출발한다

손실함수의 기울기는 모수를 조금 바꿀 때 손실이 어느 쪽으로, 얼마나 빨리 변하는지 나타내는 비율이다. 두 점 사이에서는 손실의 변화량을 모수의 변화량으로 나눈 평균변화율로 잰다. 현재 모수가 aa이고 변화량이 hh라면 새 모수는 a+ha+h다. 서로 다른 두 점을 비교하므로 h≠0h\ne0이어야 한다.

L(a+h)−L(a)h(h≠0)(1)\frac{L(a+h)-L(a)}{h}\qquad(h\ne0) \tag{1}
정의
기호이름원어뜻
aa현재 모수parameter원점을 지나는 추세선 y^=ax\widehat y=ax의 현재 기울기
hh모수 변화량incrementaa에서 새 모수까지의 차이, 0이 아님
L(a)L(a)손실loss고정 자료에서 계산한 오차 제곱의 평균
L′(a)L'(a)손실의 미분계수derivativehh를 0에 가까이 할 때 식 (1)이 다가가는 값

교과서는 함수 f(x)f(x)와 점 x=tx=t로 써서 f(t+h)−f(t)h\frac{f(t+h)-f(t)}{h}를 두 점 P, Q를 잇는 직선의 기울기, 곧 평균변화율이라 부른다. 이 글의 LL, aa로 쓴 식 (1)과 같은 계산이다.

기울기라는 낱말이 두 번 나오니 구별하자. 추세선의 기울기 aa는 입력 xx가 1 늘 때 예측값의 변화다. 손실함수의 기울기는 모수 aa가 늘 때 손실의 변화다.

앞 글의 가상 자료 (1,2)(1,2), (2,3)(2,3)으로 만든 손실은 다음과 같다.

L(a)=5a2−16a+132(2)L(a)=\frac{5a^2-16a+13}{2} \tag{2}

a=1a=1에서 L(1)=1L(1)=1이다. h=0.1h=0.1이면 L(1.1)=0.725L(1.1)=0.725이므로 평균변화율은 (0.725−1)/0.1=−2.75(0.725-1)/0.1=-2.75다. 모수는 0.1 커졌고 손실은 0.275 작아졌다. 간격을 h=0.4h=0.4로 넓히면 L(1.4)=0.2L(1.4)=0.2이고 평균변화율은 (0.2−1)/0.4=−2(0.2-1)/0.4=-2다.

손실 곡선 위 점 (1, 1)에서 h=0.4, h=0.2만큼 떨어진 점을 이은 두 직선의 기울기는 -2, -2.5다. 파란 실선은 a=1에서의 접선이며 기울기가 -3이다. 가로축은 입력 x가 아니라 모수 a다.
그림 1 손실 곡선 위 점 (1, 1)(1,\ 1)에서 h=0.4h=0.4, h=0.2h=0.2만큼 떨어진 점을 이은 두 직선의 기울기는 −2-2, −2.5-2.5다. 파란 실선은 a=1a=1에서의 접선이며 기울기가 −3-3이다. 가로축은 입력 xx가 아니라 모수 aa다. figures/secant_to_slope.py

그림 1에서 hh를 0.4에서 0.2로 줄이면 두 점을 잇는 직선이 접선 쪽으로 돈다. 그 기울기도 −2-2에서 −2.5-2.5로 바뀌며 −3-3에 다가간다.

두 점을 가까이 하면 왜 한 값이 남을까?

a=1a=1에서 hh를 0에 가깝게 하면 평균변화율은 −3-3이라는 한 값에 다가간다. 식 (1)을 전개해 약분한 식에서 hh가 곱해진 항만 0에 가까워지기 때문이다. h=0h=0을 분모에 넣는 것이 아니라, h≠0h\ne0에서 약분한 뒤 hh를 줄인다.

L(a+h)−L(a)=(5a−8)h+52h2(3)L(a+h)-L(a)=(5a-8)h+\frac52h^2 \tag{3} L(a+h)−L(a)h=5a−8+52h(h≠0)(4)\frac{L(a+h)-L(a)}{h}=5a-8+\frac52h\qquad(h\ne0) \tag{4}

식 (4)의 마지막 항 52h\frac52h는 hh가 양수 쪽에서든 음수 쪽에서든 0에 가까워지면 0에 가까워진다. 그래서 평균변화율은 5a−85a-8에 다가간다. 이 값을 aa에서의 미분계수라 하고 L′(a)L'(a)로 쓴다. 미분계수는 그 점에서 그은 접선의 기울기이며, 교과서는 순간변화율이라고도 부른다.

L′(a)=lim⁡h→0L(a+h)−L(a)h=5a−8(5)L'(a)=\lim_{h\to0}\frac{L(a+h)-L(a)}{h}=5a-8 \tag{5}

lim⁡h→0\lim_{h\to0}은 “hh가 0이 아니면서 0에 한없이 가까워질 때 다가가는 값”이라고 읽는다. 아래 표는 a=1a=1에서 식 (4)를 계산한 값이다.

hh−0.1−0.010.010.1
평균변화율−3.25−3.025−2.975−2.75
a=1에서 h를 바꾸며 구한 평균변화율이다. 점들은 모두 직선 -3+5/2h 위에 있고, h=0에서는 값이 없어 빈 점으로 남지만 양쪽에서 -3에 다가간다.
그림 2 a=1a=1에서 hh를 바꾸며 구한 평균변화율이다. 점들은 모두 직선 −3+52h-3+\frac52h 위에 있고, h=0h=0에서는 값이 없어 빈 점으로 남지만 양쪽에서 −3-3에 다가간다. figures/secant_slope_limit.py

그림 2에서 왼쪽(h<0h<0) 점은 −3-3보다 작고 오른쪽 점은 크다. 어느 쪽에서 다가가도 같은 값이 남으므로 L′(1)=−3L'(1)=-3이다. 표의 몇 값은 눈으로 확인한 예이고, 모든 hh에 대한 이유는 식 (4)의 전개다.11 이차함수에서는 같은 크기의 hh로 구한 왼쪽·오른쪽 평균변화율의 평균이 정확히 미분계수다. (−3.25−2.75)/2=−3(-3.25-2.75)/2=-3이다.

이차 손실함수의 기울기는 어떤 공식으로 구할까?

이차함수 f(a)=Aa2+Ba+Cf(a)=Aa^2+Ba+C의 미분계수는 f′(a)=2Aa+Bf'(a)=2Aa+B다. 여기서 A,B,CA,B,C는 고정된 실수이고 A≠0A\ne0이다. 식 (3)과 같은 전개를 일반 계수로 하면 이유가 나온다.

f(a+h)−f(a)=(2Aa+B)h+Ah2(6)f(a+h)-f(a)=(2Aa+B)h+Ah^2 \tag{6}

식 (6)의 양변을 h≠0h\ne0으로 나누면 2Aa+B+Ah2Aa+B+Ah이고, hh를 0에 가까이 하면 AhAh만 사라진다.

f′(a)=lim⁡h→0 (2Aa+B+Ah)=2Aa+B(7)f'(a)=\lim_{h\to0}\,(2Aa+B+Ah)=2Aa+B \tag{7}

식 (2)는 A=52A=\frac52, B=−8B=-8인 경우다. 2×52×a−8=5a−82\times\frac52\times a-8=5a-8이 식 (5)와 같다. 교과서는 f(x)=ax2+bx+cf(x)=ax^2+bx+c의 x=tx=t에서 미분계수를 2at+b2at+b로 쓴다. 이 글은 모수 aa와 겹치지 않게 계수를 대문자로 썼다.

기울기가 0인 곳은 2Aa+B=02Aa+B=0, 즉 a=−B2Aa=-\frac{B}{2A}다. 이차함수의 성질에서 배운 꼭짓점의 위치, 곧 대칭축이다. 이 예에서는 8/5=1.68/5=1.6이므로 식 (5)를 L′(a)=5(a−1.6)L'(a)=5(a-1.6)으로도 쓸 수 있다.

이 꼴에서 두 성질이 바로 읽힌다. 꼭짓점에서 같은 거리만큼 떨어진 두 점은 기울기의 크기가 같고 부호가 반대다. 1.6에서 0.6씩 떨어진 1과 2.2에서 L′(1)=−3L'(1)=-3, L′(2.2)=3L'(2.2)=3이다. 또 A>0A>0이면 aa가 커질수록 기울기도 커진다.

손실함수의 기울기 부호와 크기는 무엇을 알려 줄까?

부호는 손실이 줄어드는 방향을, 크기는 손실이 변하는 빠르기를 알려 준다. L′(a)<0L'(a)<0이면 aa를 조금 키울 때 손실이 줄고, L′(a)>0L'(a)>0이면 조금 줄일 때 손실이 준다. 식 (5)에서 L′(1)=−3L'(1)=-3이므로 a=1a=1에서는 오른쪽, L′(2)=2L'(2)=2이므로 a=2a=2에서는 왼쪽이다.

크기는 모수를 조금 바꿀 때 손실이 그 몇 배만큼 변하는지다. a=1a=1에서 aa를 0.01 늘리면 손실 변화는 약 −3×0.01=−0.03-3\times0.01=-0.03이고, 실제 값은 −0.02975-0.02975다. a=1.5a=1.5의 기울기는 −0.5-0.5라서 같은 0.01에 손실이 약 0.005만 준다. 최소점에 가까울수록 비탈이 완만하다.

위 칸은 손실 곡선과 a=1, 1.3, 1.6, 2에서 그은 짧은 접선이고, 숫자는 각 접선의 기울기다. 아래 칸은 그 기울기를 모은 직선 L'(a)=5a-8이다. 1.6 왼쪽의 음수 구간에서는 오른쪽으로, 오른쪽의 양수 구간에서는 왼쪽으로 가야 손실이 준다(위 칸의 화살표).
그림 3 위 칸은 손실 곡선과 a=1, 1.3, 1.6, 2a=1,\ 1.3,\ 1.6,\ 2에서 그은 짧은 접선이고, 숫자는 각 접선의 기울기다. 아래 칸은 그 기울기를 모은 직선 L′(a)=5a−8L'(a)=5a-8이다. 1.6 왼쪽의 음수 구간에서는 오른쪽으로, 오른쪽의 양수 구간에서는 왼쪽으로 가야 손실이 준다(위 칸의 화살표). figures/slope_sign_and_size.py

그림 3의 아래 직선이 0을 지나는 1.6이 손실의 최소점이다. 다만 부호가 알려 주는 것은 가까운 곳의 방향뿐이다. a=1a=1에서 오른쪽으로 가더라도 2.2를 넘으면 손실이 처음 값 1보다 커진다. L(2.2)=1L(2.2)=1이고 L(2.5)=2.125L(2.5)=2.125다. 한 번에 얼마나 갈지는 다음 글의 학습률이 정한다.

핵심

손실함수의 기울기는 모수의 변화량 hh를 0에 가깝게 할 때 평균변화율이 다가가는 값, 곧 미분계수다. 음수면 모수를 키우고 양수면 줄여야 손실이 줄며, 그 크기는 손실이 변하는 빠르기다.

손실함수의 기울기가 0이면 언제 최소일까?

기울기 0은 최소의 후보일 뿐이며, 이차함수에서는 A>0A>0일 때 최소다. 식 (2)는 A=52>0A=\frac52>0이라 L′(1.6)=0L'(1.6)=0인 1.6에서 손실이 최소 0.1이다. 앞 글의 완전제곱식에서 구한 값과 같다. 손실값 0.1과 기울기 0은 서로 다른 수다.

A<0A<0이면 기울기 0인 곳은 최대다. −(a−1)2-(a-1)^2은 a=1a=1에서 기울기가 0이지만, 주변 값이 모두 음수라서 0이 최댓값이다. 이차함수가 아니면 최대도 최소도 아닐 수 있다. (a−1)3(a-1)^3은 a=1a=1에서 평균변화율이 h3h=h2\frac{h^3}{h}=h^2이라 기울기가 0이지만, 왼쪽 값은 음수이고 오른쪽 값은 양수다.

세 함수 (a-1)^2, -(a-1)^2, (a-1)^3은 모두 a=1에서 접선이 수평, 곧 기울기 0이다. 위에서부터 최소, 최대, 최대도 최소도 아닌 경우다.
그림 4 세 함수 (a−1)2(a-1)^2, −(a−1)2-(a-1)^2, (a−1)3(a-1)^3은 모두 a=1a=1에서 접선이 수평, 곧 기울기 0이다. 위에서부터 최소, 최대, 최대도 최소도 아닌 경우다. figures/zero_slope_cases.py

그림 4처럼 기울기 0이라는 사실만으로는 판정할 수 없다. 이 교과의 손실은 이차항 계수가 양수인 이차함수라서, 기울기 0인 점이 곧 최소점이다.

손실함수의 기울기를 구할 때 h에 0을 바로 넣어도 될까?

아니다. 손실함수의 평균변화율에 h=0h=0을 넣으면 두 점이 같은 점이 되고 분모가 0이라 나눗셈이 성립하지 않는다. 그래서 h≠0h\ne0에서 식 (4)처럼 약분한 5a−8+52h5a-8+\frac52h를 먼저 만들고, hh가 0에 가까워질 때의 값을 읽는다. h=0.01h=0.01이면 a=1a=1에서 −2.975-2.975처럼 0이 아닌 hh로만 계산한다.

손실함수의 기울기가 음수면 손실도 음수일까?

아니다. 손실함수의 기울기가 음수여도 손실은 양수일 수 있다. a=1a=1에서 손실은 1이지만 기울기는 −3-3이다. 음수 기울기는 모수를 조금 키우면 손실이 줄어든다는 뜻이다.

인공지능은 손실함수의 기울기를 어떻게 계산할까?

인공지능은 손실함수의 기울기를 식 (5) 같은 공식으로 구하거나, 아주 작은 hh의 평균변화율로 근삿값을 구한다. h=0.001h=0.001이면 a=1a=1에서 −2.9975-2.9975로 −3-3에 매우 가깝다. 모수가 수백만 개인 신경망은 모수마다 이런 기울기(편미분)를 모은 그래디언트를 역전파로 한꺼번에 계산하며, 이는 교과 범위를 넘는 확장이다.

손실함수의 기울기에서 흔한 오해

  • 추세선의 기울기와 손실함수의 기울기는 같은 수다 — a=1a=1일 때 추세선 y^=x\widehat y=x의 기울기는 1이지만 손실함수의 기울기는 L′(1)=−3L'(1)=-3이다. 앞의 것은 입력 xx, 뒤의 것은 모수 aa에 대한 변화다.
  • 기울기가 −3이면 오른쪽으로 3만큼 가면 된다 — 기울기는 방향과 빠르기이지 이동 거리가 아니다. a=1a=1에서 3만큼 가면 L(4)=14.5L(4)=14.5로 처음 손실 1보다 크다.
  • 접선의 기울기만 알면 멀리 떨어진 점의 손실도 알 수 있다 — 그림 1의 접선은 a=1.4a=1.4에서 높이 −0.2-0.2를 주지만 실제 손실은 0.2다. 접선은 접점 가까이에서만 곡선과 비슷하다.

직접 해보기

1~4번은 새 함수 F(a)=(a−2)2+1F(a)=(a-2)^2+1을, 5번은 새 자료를 쓴다.

  1. F(1)F(1)과 F(1.2)F(1.2)를 구하고 두 점 사이 평균변화율을 구하라.
  2. F(1+h)−F(1)F(1+h)-F(1)을 전개해 h≠0h\ne0일 때의 평균변화율을 hh의 식으로 나타내라. h=−0.1h=-0.1, 0.10.1에서의 값과 F′(1)F'(1)을 구하라.
  3. F(a)=a2−4a+5F(a)=a^2-4a+5로 전개한 뒤 식 (7)로 F′(a)F'(a)를 구하라. a=0a=0에서 함숫값과 기울기를 각각 구하고, 기울기가 0인 점이 왜 최소인지 설명하라.
  4. a=3a=3에서 함숫값을 줄이려면 조금 왼쪽과 오른쪽 중 어디로 가야 하는가? aa를 3에서 2.9로 바꿀 때의 변화를 기울기로 어림하고 실제 값과 비교하라.
  5. 새 자료 (1,1)(1,1), (3,4)(3,4)와 y^=ax\widehat y=ax의 평균제곱오차를 M(a)M(a)라 하자. M(a)M(a)를 전개하고 M′(a)M'(a), 손실이 가장 작은 aa와 그 손실, a=2a=2에서 손실이 줄어드는 방향을 구하라.
답과 풀이
  1. F(1)=2F(1)=2, F(1.2)=0.82+1=1.64F(1.2)=0.8^2+1=1.64다. 평균변화율은 (1.64−2)/0.2=−1.8(1.64-2)/0.2=-1.8이다.
  2. F(1+h)−F(1)=(h−1)2+1−2=h2−2hF(1+h)-F(1)=(h-1)^2+1-2=h^2-2h다. h≠0h\ne0으로 나누면 h−2h-2다. h=−0.1h=-0.1이면 −2.1-2.1, h=0.1h=0.1이면 −1.9-1.9이고, hh를 0에 가까이 하면 F′(1)=−2F'(1)=-2다.
  3. A=1A=1, B=−4B=-4이므로 F′(a)=2a−4F'(a)=2a-4다. F(0)=5F(0)=5이고 F′(0)=−4F'(0)=-4다. F′(a)=0F'(a)=0인 a=2a=2에서 A=1>0A=1>0이므로 최소이며 최솟값은 F(2)=1F(2)=1이다. (a−2)2≥0(a-2)^2\ge0이라는 사실로도 확인된다.
  4. F′(3)=2>0F'(3)=2>0이므로 조금 왼쪽으로 간다. 어림값은 2×(−0.1)=−0.22\times(-0.1)=-0.2이고, 실제로는 F(2.9)−F(3)=1.81−2=−0.19F(2.9)-F(3)=1.81-2=-0.19다.
  5. M(a)=(a−1)2+(3a−4)22=10a2−26a+172=5a2−13a+172M(a)=\frac{(a-1)^2+(3a-4)^2}{2}=\frac{10a^2-26a+17}{2}=5a^2-13a+\frac{17}{2}이다. 식 (7)로 M′(a)=10a−13M'(a)=10a-13이고 a=1.3a=1.3에서 0이다. A=5>0A=5>0이므로 이 점에서 최소이고 M(1.3)=0.05M(1.3)=0.05다. M′(2)=7>0M'(2)=7>0이므로 a=2a=2에서는 줄이는 쪽, 곧 왼쪽으로 가야 한다.

다음 일변수 경사하강법에서는 기울기의 반대 방향으로 얼마나 움직일지 학습률로 정한다.

더 읽기

  • 교육부, 2022 개정 교육과정 고시 — 별책8 [12인수04-04]의 직관적 극한·미분계수와 이차함수 범위를 따른다.
  • OpenStax, Calculus Volume 1 3.1절 — 두 점 사이 기울기를 가까운 점의 접선 기울기로 연결하는 부분을 읽었다. 이 글은 미적분 전과정을 선수로 요구하지 않는다.
  • 씨마스, 인공지능 수학 164~166쪽 — 움직이는 두 점과 접선(164쪽), 꼭짓점에 대칭인 두 점의 미분계수(165쪽), 평균변화율·순간변화율과 2at+b2at+b의 극한 계산(166쪽)을 실제 면에서 대조했다. ‘이차 손실함수의 기울기는 어떤 공식으로 구할까?’ §가 166쪽의 계산 순서를 따른다. 손실의 수치는 직접 구성했다.

영상 노트

영상 노트
  • 00:00 높이와 비탈 구별, 두 가지 ‘기울기’
  • 00:50 식 (1) 평균변화율과 그림 1의 두 직선
  • 02:00 식 (3)·(4) — 0으로 나누지 않고 전개
  • 03:00 그림 2와 표 — 양쪽에서 −3에 다가가기, 식 (5)의 lim 읽기
  • 04:30 식 (6)·(7) — 2Aa+B와 꼭짓점·대칭
  • 05:30 그림 3 — 부호는 방향, 크기는 빠르기
  • 07:00 그림 4 — 기울기 0의 세 경우와 새 연습

지도에서의 위치

추세선으로 예측하기AI이차함수의 시작기초수학일변수 제곱 손실AI손실함수의 기울기지금 이 페이지일변수 경사하강법AI
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안 — 조건·계산·가상 자료와 새 연습 작성
  2. 2026-11-17 · 전수 검수 반영 — 평균변화율·순간변화율·lim 표기 연결, 일반 이차식 공식과 꼭짓점·대칭 성질, 기울기 크기의 뜻, 기울기 0의 세 경우, 오해 교체, 연습 5문항 (에이전트 수정, 그림 1→4)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림