직관 — 높이와 비탈을 따로 읽기
언덕의 현재 높이만으로는 어느 쪽으로 내려가야 할지 알 수 없다. 발을 조금 오른쪽으로 옮겼을 때 높이가 낮아지는지 높아지는지를 봐야 한다. 손실 그래프에서도 현재 손실과 그 자리의 비탈은 서로 다른 정보다.
언덕의 가로 위치는 모수 , 높이는 손실 , 비탈은 손실함수의 기울기다. 모수는 모형이 학습하며 고치는 수이고, 파라미터(매개변수)라고도 한다. 인공지능은 이 비탈을 읽어 모수를 고치며, 다음 글의 일변수 경사하강법이 그 반복이다. 이 글은 일변수 제곱 손실의 비탈을 숫자로 구한다.
손실함수의 기울기는 두 점 사이 평균변화율에서 출발한다
손실함수의 기울기는 모수를 조금 바꿀 때 손실이 어느 쪽으로, 얼마나 빨리 변하는지 나타내는 비율이다. 두 점 사이에서는 손실의 변화량을 모수의 변화량으로 나눈 평균변화율로 잰다. 현재 모수가 이고 변화량이 라면 새 모수는 다. 서로 다른 두 점을 비교하므로 이어야 한다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 현재 모수 | parameter | 원점을 지나는 추세선 의 현재 기울기 | |
| 모수 변화량 | increment | 에서 새 모수까지의 차이, 0이 아님 | |
| 손실 | loss | 고정 자료에서 계산한 오차 제곱의 평균 | |
| 손실의 미분계수 | derivative | 를 0에 가까이 할 때 식 (1)이 다가가는 값 |
교과서는 함수 와 점 로 써서 를 두 점 P, Q를 잇는 직선의 기울기, 곧 평균변화율이라 부른다. 이 글의 , 로 쓴 식 (1)과 같은 계산이다.
기울기라는 낱말이 두 번 나오니 구별하자. 추세선의 기울기 는 입력 가 1 늘 때 예측값의 변화다. 손실함수의 기울기는 모수 가 늘 때 손실의 변화다.
앞 글의 가상 자료 , 으로 만든 손실은 다음과 같다.
에서 이다. 이면 이므로 평균변화율은 다. 모수는 0.1 커졌고 손실은 0.275 작아졌다. 간격을 로 넓히면 이고 평균변화율은 다.
figures/secant_to_slope.py그림 1에서 를 0.4에서 0.2로 줄이면 두 점을 잇는 직선이 접선 쪽으로 돈다. 그 기울기도 에서 로 바뀌며 에 다가간다.
두 점을 가까이 하면 왜 한 값이 남을까?
에서 를 0에 가깝게 하면 평균변화율은 이라는 한 값에 다가간다. 식 (1)을 전개해 약분한 식에서 가 곱해진 항만 0에 가까워지기 때문이다. 을 분모에 넣는 것이 아니라, 에서 약분한 뒤 를 줄인다.
식 (4)의 마지막 항 는 가 양수 쪽에서든 음수 쪽에서든 0에 가까워지면 0에 가까워진다. 그래서 평균변화율은 에 다가간다. 이 값을 에서의 미분계수라 하고 로 쓴다. 미분계수는 그 점에서 그은 접선의 기울기이며, 교과서는 순간변화율이라고도 부른다.
은 “가 0이 아니면서 0에 한없이 가까워질 때 다가가는 값”이라고 읽는다. 아래 표는 에서 식 (4)를 계산한 값이다.
| −0.1 | −0.01 | 0.01 | 0.1 | |
|---|---|---|---|---|
| 평균변화율 | −3.25 | −3.025 | −2.975 | −2.75 |
figures/secant_slope_limit.py그림 2에서 왼쪽() 점은 보다 작고 오른쪽 점은 크다. 어느 쪽에서 다가가도 같은 값이 남으므로 이다. 표의 몇 값은 눈으로 확인한 예이고, 모든 에 대한 이유는 식 (4)의 전개다.11 이차함수에서는 같은 크기의 로 구한 왼쪽·오른쪽 평균변화율의 평균이 정확히 미분계수다. 이다.
이차 손실함수의 기울기는 어떤 공식으로 구할까?
이차함수 의 미분계수는 다. 여기서 는 고정된 실수이고 이다. 식 (3)과 같은 전개를 일반 계수로 하면 이유가 나온다.
식 (6)의 양변을 으로 나누면 이고, 를 0에 가까이 하면 만 사라진다.
식 (2)는 , 인 경우다. 이 식 (5)와 같다. 교과서는 의 에서 미분계수를 로 쓴다. 이 글은 모수 와 겹치지 않게 계수를 대문자로 썼다.
기울기가 0인 곳은 , 즉 다. 이차함수의 성질에서 배운 꼭짓점의 위치, 곧 대칭축이다. 이 예에서는 이므로 식 (5)를 으로도 쓸 수 있다.
이 꼴에서 두 성질이 바로 읽힌다. 꼭짓점에서 같은 거리만큼 떨어진 두 점은 기울기의 크기가 같고 부호가 반대다. 1.6에서 0.6씩 떨어진 1과 2.2에서 , 이다. 또 이면 가 커질수록 기울기도 커진다.
손실함수의 기울기 부호와 크기는 무엇을 알려 줄까?
부호는 손실이 줄어드는 방향을, 크기는 손실이 변하는 빠르기를 알려 준다. 이면 를 조금 키울 때 손실이 줄고, 이면 조금 줄일 때 손실이 준다. 식 (5)에서 이므로 에서는 오른쪽, 이므로 에서는 왼쪽이다.
크기는 모수를 조금 바꿀 때 손실이 그 몇 배만큼 변하는지다. 에서 를 0.01 늘리면 손실 변화는 약 이고, 실제 값은 다. 의 기울기는 라서 같은 0.01에 손실이 약 0.005만 준다. 최소점에 가까울수록 비탈이 완만하다.
figures/slope_sign_and_size.py그림 3의 아래 직선이 0을 지나는 1.6이 손실의 최소점이다. 다만 부호가 알려 주는 것은 가까운 곳의 방향뿐이다. 에서 오른쪽으로 가더라도 2.2를 넘으면 손실이 처음 값 1보다 커진다. 이고 다. 한 번에 얼마나 갈지는 다음 글의 학습률이 정한다.
손실함수의 기울기는 모수의 변화량 를 0에 가깝게 할 때 평균변화율이 다가가는 값, 곧 미분계수다. 음수면 모수를 키우고 양수면 줄여야 손실이 줄며, 그 크기는 손실이 변하는 빠르기다.
손실함수의 기울기가 0이면 언제 최소일까?
기울기 0은 최소의 후보일 뿐이며, 이차함수에서는 일 때 최소다. 식 (2)는 이라 인 1.6에서 손실이 최소 0.1이다. 앞 글의 완전제곱식에서 구한 값과 같다. 손실값 0.1과 기울기 0은 서로 다른 수다.
이면 기울기 0인 곳은 최대다. 은 에서 기울기가 0이지만, 주변 값이 모두 음수라서 0이 최댓값이다. 이차함수가 아니면 최대도 최소도 아닐 수 있다. 은 에서 평균변화율이 이라 기울기가 0이지만, 왼쪽 값은 음수이고 오른쪽 값은 양수다.
figures/zero_slope_cases.py그림 4처럼 기울기 0이라는 사실만으로는 판정할 수 없다. 이 교과의 손실은 이차항 계수가 양수인 이차함수라서, 기울기 0인 점이 곧 최소점이다.
손실함수의 기울기를 구할 때 h에 0을 바로 넣어도 될까?
아니다. 손실함수의 평균변화율에 을 넣으면 두 점이 같은 점이 되고 분모가 0이라 나눗셈이 성립하지 않는다. 그래서 에서 식 (4)처럼 약분한 를 먼저 만들고, 가 0에 가까워질 때의 값을 읽는다. 이면 에서 처럼 0이 아닌 로만 계산한다.
손실함수의 기울기가 음수면 손실도 음수일까?
아니다. 손실함수의 기울기가 음수여도 손실은 양수일 수 있다. 에서 손실은 1이지만 기울기는 이다. 음수 기울기는 모수를 조금 키우면 손실이 줄어든다는 뜻이다.
인공지능은 손실함수의 기울기를 어떻게 계산할까?
인공지능은 손실함수의 기울기를 식 (5) 같은 공식으로 구하거나, 아주 작은 의 평균변화율로 근삿값을 구한다. 이면 에서 로 에 매우 가깝다. 모수가 수백만 개인 신경망은 모수마다 이런 기울기(편미분)를 모은 그래디언트를 역전파로 한꺼번에 계산하며, 이는 교과 범위를 넘는 확장이다.
손실함수의 기울기에서 흔한 오해
- 추세선의 기울기와 손실함수의 기울기는 같은 수다 — 일 때 추세선 의 기울기는 1이지만 손실함수의 기울기는 이다. 앞의 것은 입력 , 뒤의 것은 모수 에 대한 변화다.
- 기울기가 −3이면 오른쪽으로 3만큼 가면 된다 — 기울기는 방향과 빠르기이지 이동 거리가 아니다. 에서 3만큼 가면 로 처음 손실 1보다 크다.
- 접선의 기울기만 알면 멀리 떨어진 점의 손실도 알 수 있다 — 그림 1의 접선은 에서 높이 를 주지만 실제 손실은 0.2다. 접선은 접점 가까이에서만 곡선과 비슷하다.
직접 해보기
1~4번은 새 함수 을, 5번은 새 자료를 쓴다.
- 과 를 구하고 두 점 사이 평균변화율을 구하라.
- 을 전개해 일 때의 평균변화율을 의 식으로 나타내라. , 에서의 값과 을 구하라.
- 로 전개한 뒤 식 (7)로 를 구하라. 에서 함숫값과 기울기를 각각 구하고, 기울기가 0인 점이 왜 최소인지 설명하라.
- 에서 함숫값을 줄이려면 조금 왼쪽과 오른쪽 중 어디로 가야 하는가? 를 3에서 2.9로 바꿀 때의 변화를 기울기로 어림하고 실제 값과 비교하라.
- 새 자료 , 와 의 평균제곱오차를 라 하자. 를 전개하고 , 손실이 가장 작은 와 그 손실, 에서 손실이 줄어드는 방향을 구하라.
답과 풀이
- , 다. 평균변화율은 이다.
- 다. 으로 나누면 다. 이면 , 이면 이고, 를 0에 가까이 하면 다.
- , 이므로 다. 이고 다. 인 에서 이므로 최소이며 최솟값은 이다. 이라는 사실로도 확인된다.
- 이므로 조금 왼쪽으로 간다. 어림값은 이고, 실제로는 다.
- 이다. 식 (7)로 이고 에서 0이다. 이므로 이 점에서 최소이고 다. 이므로 에서는 줄이는 쪽, 곧 왼쪽으로 가야 한다.
다음 일변수 경사하강법에서는 기울기의 반대 방향으로 얼마나 움직일지 학습률로 정한다.
더 읽기
- 교육부, 2022 개정 교육과정 고시 — 별책8 [12인수04-04]의 직관적 극한·미분계수와 이차함수 범위를 따른다.
- OpenStax, Calculus Volume 1 3.1절 — 두 점 사이 기울기를 가까운 점의 접선 기울기로 연결하는 부분을 읽었다. 이 글은 미적분 전과정을 선수로 요구하지 않는다.
- 씨마스, 인공지능 수학 164~166쪽 — 움직이는 두 점과 접선(164쪽), 꼭짓점에 대칭인 두 점의 미분계수(165쪽), 평균변화율·순간변화율과 의 극한 계산(166쪽)을 실제 면에서 대조했다. ‘이차 손실함수의 기울기는 어떤 공식으로 구할까?’ §가 166쪽의 계산 순서를 따른다. 손실의 수치는 직접 구성했다.
영상 노트
- 00:00 높이와 비탈 구별, 두 가지 ‘기울기’
- 00:50 식 (1) 평균변화율과 그림 1의 두 직선
- 02:00 식 (3)·(4) — 0으로 나누지 않고 전개
- 03:00 그림 2와 표 — 양쪽에서 −3에 다가가기, 식 (5)의 lim 읽기
- 04:30 식 (6)·(7) — 2Aa+B와 꼭짓점·대칭
- 05:30 그림 3 — 부호는 방향, 크기는 빠르기
- 07:00 그림 4 — 기울기 0의 세 경우와 새 연습
지도에서의 위치
- 2026-11-16 · 에이전트 초안 — 조건·계산·가상 자료와 새 연습 작성
- 2026-11-17 · 전수 검수 반영 — 평균변화율·순간변화율·lim 표기 연결, 일반 이차식 공식과 꼭짓점·대칭 성질, 기울기 크기의 뜻, 기울기 0의 세 경우, 오해 교체, 연습 5문항 (에이전트 수정, 그림 1→4)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림