AI일변수 제곱 손실#298

일변수 제곱 손실

Univariate Squared Loss

일변수 제곱 손실은 고정된 자료에서 원점을 지나는 추세선의 오차 제곱을 평균 내어 기울기 하나의 함수로 만든 것이다. 자료 (1,2), (2,3)에서는 기울기 1.6에서 최솟값 0.1이다. 제곱하는 이유, 세 합으로 손실식을 세우고 완전제곱으로 최소점을 찾는 법, 퇴화 조건을 다룬다.

읽는 시간
약 8분
선수 개념
추세선으로 예측하기이차함수의 시작

직관 — 여러 오차를 하나의 점수로 모으기

직관

추세선 후보가 여럿이면 어느 것을 고를지 점수판이 필요하다. 너무 높게 예측한 오차와 너무 낮게 예측한 오차를 그대로 더하면 서로 지워진다. 각 오차를 제곱해 평균 내면 후보 하나에 음수가 아닌 점수 하나를 붙일 수 있다.

그 점수가 이 글의 손실이다. 추세선으로 예측하기의 가상 자료 (1,2)(1,2), (2,3)(2,3)을 그대로 사용한다. 자료는 고정하고 원점을 지나는 직선의 기울기 하나만 바꾼다. AI 모델이 학습한다는 말은 이런 손실이 작아지도록 모수를 고친다는 뜻이다.

손실함수의 입력은 왜 기울기일까?

일변수 제곱 손실은 고정된 자료에 대한 예측 오차의 제곱을 평균 내어, 모수 하나에 대응시키는 함수다. 이 글의 예측식은 y^=ax\widehat y=ax이며 손실함수의 입력은 xx가 아니라 기울기 aa다. aa를 바꾸면 모든 자료의 예측값이 함께 달라진다.

자료가 nn개이고 n>0n>0일 때, ii번째 자료를 (xi,yi)(x_i,y_i)라 쓰자. 이 글의 오차는 예측값에서 관측값을 뺀 값이다. 반대로 뺀 오차도 제곱하면 같지만, 한 계산 안에서는 부호의 약속을 유지한다.

ri=axi−yi,L(a)=1n∑i=1n(axi−yi)2(1)r_i=ax_i-y_i,\qquad L(a)=\frac1n\sum_{i=1}^{n}(ax_i-y_i)^2 \tag{1}
정의
기호이름원어뜻
xi,yix_i,y_i입력·관측값input, observation고정된 ii번째 자료의 두 수
nn자료 수sample size양의 정수
aa추세선 기울기slope parameter손실을 비교하면서 바꾸는 유일한 수
rir_i오차prediction error예측값 axiax_i에서 관측값 yiy_i를 뺀 값
L(a)L(a)평균제곱오차mean squared error이 글에서 쓰는 손실함수, 줄여서 MSE

교과서는 오차를 관측값에서 예측값을 뺀 yi−axiy_i-ax_i로 쓴다. 부호만 반대이고 제곱하면 같으므로 L(a)L(a)는 같다. 교과서는 손실함수를 비용함수, 목적함수라고도 부른다.

합 기호는 i=1i=1부터 nn까지 각 오차 제곱을 더하라는 뜻이다. 이처럼 기울기 하나를 입력으로 삼는 손실을 일변수 제곱손실이라고 부른다. 일반적인 ‘손실함수’에는 다른 정의도 있지만, 여기서는 식 (1)로 고정한다.

그림 1은 오차 rir_i를 점과 직선 사이의 세로 선분으로, 오차의 제곱을 그 선분을 한 변으로 하는 정사각형의 넓이로 나타낸다. 손실은 정사각형 넓이의 평균이다. a=1a=1에서는 넓이 1인 정사각형 두 개라 손실이 1이고, a=1.6a=1.6에서는 넓이 0.16과 0.04의 평균 0.1이다.

자료 (1,2), (2,3)과 원점을 지나는 직선 widehat y=ax에서 오차를 세로 선분으로, 오차의 제곱을 그 선분을 한 변으로 하는 정사각형으로 그렸다. 왼쪽 a=1은 넓이 1, 1로 손실 1, 오른쪽 a=1.6은 넓이 0.16, 0.04로 손실 0.1이다.
그림 1 자료 (1,2), (2,3)과 원점을 지나는 직선 y^=ax\widehat y=ax에서 오차를 세로 선분으로, 오차의 제곱을 그 선분을 한 변으로 하는 정사각형으로 그렸다. 왼쪽 a=1a=1은 넓이 1, 1로 손실 1, 오른쪽 a=1.6a=1.6은 넓이 0.16, 0.04로 손실 0.1이다. figures/residual_squares.py

왜 제곱하고 평균 낼까?

제곱은 오차의 방향을 지우고 크기를 남긴다. 0의 제곱만 0이므로 손실은 항상 0 이상이고, 0이 되려면 모든 자료의 오차가 0이어야 한다. 또한 오차의 크기가 1에서 2로 두 배가 되면 제곱은 1에서 4로 네 배가 된다. 이 점수는 큰 오차를 더 무겁게 반영한다.

예를 들어 두 점의 자료에서 a=5/3a=5/3이면 오차는 −1/3-1/3, 1/31/3이다. 오차를 그냥 더하면 0이지만 두 예측이 모두 틀린 것은 그대로다. 제곱 평균은 (1/9+1/9)/2=1/9(1/9+1/9)/2=1/9로 0이 아니다.

오차의 평균을 rˉ(a)\bar r(a)라 쓰면 두 점 자료에서 rˉ(a)={(a−2)+(2a−3)}/2=(3a−5)/2\bar r(a)=\{(a-2)+(2a-3)\}/2=(3a-5)/2다. 그림 2처럼 이 값은 aa를 줄일수록 계속 작아져 a=0a=0에서 −2.5-2.5가 된다. 가장 작은 값을 찾는 기준으로 쓰면 기울기를 한없이 줄이라는 엉뚱한 답이 나온다.

두 점 자료 (1,2), (2,3)에서 오차의 평균 bar r(a)(파선)와 오차 제곱의 평균 L(a)(실선)를 같은 가로축 a 위에 그렸다. a=5/3에서 오차의 평균은 0이지만 손실은 1/9이고, 오차의 평균은 a가 작을수록 계속 작아진다.
그림 2 두 점 자료 (1,2), (2,3)에서 오차의 평균 rˉ(a)\bar r(a)(파선)와 오차 제곱의 평균 L(a)L(a)(실선)를 같은 가로축 aa 위에 그렸다. a=5/3a=5/3에서 오차의 평균은 0이지만 손실은 1/9이고, 오차의 평균은 aa가 작을수록 계속 작아진다. figures/mean_error_vs_mse.py

평균을 내는 것은 자료 한 개당 오차 제곱으로 읽기 위해서다. 같은 자료를 두 벌로 반복해 합만 구하면 두 배가 되지만, 평균은 그대로다. 그렇다고 서로 다른 자료 집합의 MSE만 보고 모형을 공정하게 비교할 수 있는 것은 아니다. 모형 비교에서는 같은 평가 자료와 같은 단위를 사용한다.

제곱 손실에서 오차를 절댓값이 아니라 왜 제곱할까?

제곱도 절댓값처럼 오차의 부호를 지우지만, 손실을 기울기의 이차함수로 만들어 완전제곱으로 최소점을 구할 수 있게 한다. 또 큰 오차를 더 무겁게 센다. 오차가 1과 3인 경우와 2와 2인 경우는 절댓값의 합이 4로 같지만, 제곱의 합은 10과 8로 고르게 틀린 쪽이 작다.

두 점의 손실을 이차함수로 만들기

자료 두 개를 식 (1)에 넣으면 각 예측이 aa, 2a2a다. 이 예제에서 a=1a=1이면 오차는 −1,−1-1,-1이므로 손실은 1이다. 일반적인 aa를 남겨 전개하면 다음과 같다.

L(a)=(a−2)2+(2a−3)22(2)L(a)=\frac{(a-2)^2+(2a-3)^2}{2} \tag{2}

각 제곱을 풀면 (a−2)2=a2−4a+4(a-2)^2=a^2-4a+4, (2a−3)2=4a2−12a+9(2a-3)^2=4a^2-12a+9다. 같은 차수끼리 더한 뒤 완전제곱을 만들자.

L(a)=5a2−16a+132=52(a−85)2+110(3)L(a)=\frac{5a^2-16a+13}{2} =\frac52\left(a-\frac85\right)^2+\frac1{10} \tag{3}

제곱 부분은 음수가 아니고, a=8/5=1.6a=8/5=1.6에서만 0이다. 따라서 이 자료와 원점 통과 모형에서는 손실의 최솟값이 0.1이며 그때의 기울기는 유일하게 1.6이다. 앞 글에서 Desmos가 낸 기울기 1.6이 왜 최소인지를 이차함수의 성질의 완전제곱으로 설명한 것이다.

기울기 aa첫 예측둘째 예측손실 L(a)L(a)
1121
1.51.530.125
1.61.63.20.1
2240.5
가로축은 자료의 입력 x가 아니라 기울기 a이며, 세로축은 손실 L(a)다. 표시한 네 후보 중 1.6의 손실이 가장 작다. 식 (3)의 완전제곱은 이 후보들뿐 아니라 모든 실수 a와 비교해도 0.1이 최솟값임을 설명한다.
그림 3 가로축은 자료의 입력 xx가 아니라 기울기 aa이며, 세로축은 손실 L(a)L(a)다. 표시한 네 후보 중 1.6의 손실이 가장 작다. 식 (3)의 완전제곱은 이 후보들뿐 아니라 모든 실수 aa와 비교해도 0.1이 최솟값임을 설명한다. figures/loss_landscape.py

그림 3의 최소점에서도 관측값과 예측값은 다르다. 오차는 1.6−2=−0.41.6-2=-0.4, 3.2−3=0.23.2-3=0.2이고 제곱은 0.16, 0.04다. 평균 (0.16+0.04)/2=0.1(0.16+0.04)/2=0.1을 직접 계산해 검산할 수 있다.

자료가 많아도 세 합만 구하면 손실식이 나온다

자료가 몇 개든 손실식의 계수는 입력의 제곱의 합, 입력과 관측의 곱의 합, 관측의 제곱의 합 세 가지로 정해진다. 각 오차 제곱을 다음처럼 전개해 같은 차수끼리 모으기 때문이다.

(axi−yi)2=xi2a2−2xiyi a+yi2(4)(ax_i-y_i)^2=x_i^2a^2-2x_iy_i\,a+y_i^2 \tag{4} L(a)=(∑xi2)a2−2(∑xiyi)a+∑yi2n(5)L(a)=\frac{\left(\sum x_i^2\right)a^2-2\left(\sum x_iy_i\right)a+\sum y_i^2}{n} \tag{5}

여기서 합은 모두 i=1i=1부터 nn까지다. 앞 글의 여섯 점 자료(이미지 수 xx백 장, 처리 시간 yy초)로 확인하자. 오차 열은 기울기가 aa일 때의 값이다.

xix_iyiy_i오차 axi−yiax_i-y_ixi2x_i^2xiyix_iy_iyi2y_i^2
14a−4a-41416
252a−52a-541025
373a−73a-792149
494a−94a-9163681
595a−95a-9254581
6116a−116a-113666121
합91182373

세 합을 식 (5)에 넣으면 다음과 같다. aa의 계수는 −2×182=−364-2\times182=-364다.

L(a)=91a2−364a+3736(6)L(a)=\frac{91a^2-364a+373}{6} \tag{6}

식 (6)의 분자에서 91a2−364a=91(a−2)2−36491a^2-364a=91(a-2)^2-364이므로 분자는 91(a−2)2+991(a-2)^2+9다.

L(a)=916(a−2)2+32(7)L(a)=\frac{91}{6}(a-2)^2+\frac32 \tag{7}

이 자료의 최소점은 a=2a=2, 최솟값은 1.5다. 앞 글에서 Desmos의 y_1~ax_1이 같은 자료에 낸 기울기 2와 같다. a=2a=2의 오차는 −2,−1,−1,−1,1,1-2,-1,-1,-1,1,1이고, 제곱의 합 9를 6으로 나눠도 1.5다.

식 (5)에서 ∑xi2>0\sum x_i^2>0이면 같은 방법으로 완전제곱을 만들 수 있다. 최소가 되는 기울기는 다음과 같다.

a=∑xiyi∑xi2(8)a=\frac{\sum x_iy_i}{\sum x_i^2} \tag{8}

두 점 자료에서는 8/5=1.68/5=1.6, 여섯 점 자료에서는 182/91=2182/91=2다.

식 (8)의 유도

A=∑xi2A=\sum x_i^2, B=∑xiyiB=\sum x_iy_i, C=∑yi2C=\sum y_i^2로 두고 A>0A>0이라 하자. 식 (5)의 분자는 다음처럼 완전제곱으로 바뀐다.

Aa2−2Ba+C=A(a−BA)2+C−B2AAa^2-2Ba+C=A\left(a-\frac BA\right)^2+C-\frac{B^2}{A}

A>0A>0이므로 제곱 부분은 a=B/Aa=B/A에서만 0이다. 최솟값은 (C−B2/A)/n(C-B^2/A)/n이며, 두 점 자료에서는 (13−64/5)/2=1/10(13-64/5)/2=1/10으로 식 (3)과 같다.

모든 자료에서 이차함수가 될까?

원점 통과 모형의 MSE를 전개했을 때 a2a^2의 계수는 식 (5)의 ∑xi2/n\sum x_i^2/n, 즉 입력값 제곱의 평균이다. 입력값 중 하나라도 0이 아니면 이 계수는 양수이므로 손실은 아래로 볼록한 이차함수다. 이차함수의 성질에 따라 유일한 최소점이 있다.

반대로 모든 입력이 0이면 예측값도 항상 0이다. 예를 들어 자료 (0,1)(0,1), (0,3)(0,3)에서는 기울기를 아무리 바꿔도 손실은 (12+32)/2=5(1^2+3^2)/2=5다. 이 경우 손실은 상수이며, 식 (8)의 분모도 0이 되어 자료만으로 최적 기울기 하나를 구별할 수 없다.

핵심

원점 통과 모형의 제곱 손실은 고정된 양의 개수 자료에서 예측 오차의 제곱을 평균 낸 값이다. 입력 중 하나라도 0이 아니면 기울기 하나에 대한 이차함수로서 유일한 최소점이 있다.

손실이 최소이면 모든 자료를 정확히 맞힐까?

손실 최소는 정해진 모형 안에서 점수가 가장 작다는 뜻이며 손실 0을 뜻하지 않는다. 이 글의 최소 손실은 0.1이다. 두 점을 원점 통과 직선 하나로 동시에 맞힐 수 없어서 오차가 남는다.

관측값의 단위를 바꾸면 제곱 손실도 바뀔까?

관측값의 단위를 바꾸면 제곱 손실의 값도 바뀐다. 미터를 센티미터로 바꾸면 오차의 수치가 100배가 되어 제곱오차는 10000배가 된다. 예를 들어 오차 0.2 m는 20 cm이며 제곱은 각각 0.04와 400이다. 손실 숫자를 비교할 때는 자료의 단위부터 맞춘다.

오차 제곱의 합과 평균은 무엇이 같고 무엇이 다를까?

오차 제곱의 합 S(a)=nL(a)S(a)=nL(a)와 평균 L(a)L(a)는 최소가 되는 기울기가 같고, 값과 그래프의 가파름은 nn배 다르다. 두 점 자료에서 a=1.6a=1.6일 때 합은 0.2, 평균은 0.1이다.

평균은 합을 양의 상수 nn으로 나눈 것이라, 어느 기울기의 손실이 더 작은지의 순서가 그대로 유지된다. 그림 4에서 S(a)S(a)는 L(a)L(a)를 세로로 두 배 늘린 곡선이고, a=1a=1에서도 2와 1로 두 배다.

두 점 자료에서 오차 제곱의 합 S(a)(파선)와 평균 L(a)(실선)를 그렸다. 두 곡선 모두 a=1.6에서 가장 낮고(합 0.2, 평균 0.1), a=1에서는 2와 1이다.
그림 4 두 점 자료에서 오차 제곱의 합 S(a)S(a)(파선)와 평균 L(a)L(a)(실선)를 그렸다. 두 곡선 모두 a=1.6a=1.6에서 가장 낮고(합 0.2, 평균 0.1), a=1a=1에서는 2와 1이다. figures/sse_vs_mse.py

다만 곡선이 두 배 가팔라지므로, 손실의 기울기를 따라 모수를 고치는 일변수 경사하강법에서는 같은 학습률이어도 한 번에 움직이는 거리가 달라질 수 있다. 어느 쪽을 쓰는지 정해 두고 끝까지 같은 손실을 쓴다.

제곱 손실에서 흔한 오해

  • 손실 그래프의 가로축을 옮기면 새 자료를 예측한다 — 그림 3의 가로축은 aa다. 새로운 입력 xx에 대입하는 추세선 그래프와 역할이 다르다.
  • 손실이 작으면 아직 보지 않은 자료에서도 반드시 좋다 — 식 (3)은 주어진 두 점에서 얻은 결론이다. 새로운 자료의 성능은 별도 관측값으로 확인한다.
  • 최소 손실의 기울기는 각 점의 기울기 y/x를 평균 낸 값이다 — 두 점 자료에서 yi/xiy_i/x_i는 2와 1.5이고 평균은 1.75지만 최소점은 1.6이다. 식 (8)은 입력이 큰 점에 xi2x_i^2만큼 비중을 더 둔 평균 (1×2+4×1.5)/5=1.6(1\times2+4\times1.5)/5=1.6이다.

직접 해보기

  1. 새 자료 (1,1)(1,1), (2,2)(2,2)에서 a=0,1,2a=0,1,2의 손실을 구하고 최솟값을 설명하라.
  2. 관측값이 5, 7이고 어떤 모형의 예측이 4, 9다. 오차 두 개와 MSE를 구하라.
  3. 두 자료에서 오차 제곱의 합이 10이다. MSE는 얼마인가? 같은 두 자료를 한 번 더 복사한 네 자료의 MSE도 구하라.
  4. 새 자료 (0,2)(0,2), (0,−2)(0,-2)에서 y^=ax\widehat y=ax의 손실은 기울기에 따라 달라지는가?
  5. 새 자료 (1,3)(1,3), (2,5)(2,5), (3,5)(3,5)로 세 합을 구해 L(a)L(a)를 전개하고, 완전제곱으로 최소점과 최솟값을 구하라.
답과 풀이
  1. L(a)=((a−1)2+(2a−2)2)/2=52(a−1)2L(a)=((a-1)^2+(2a-2)^2)/2=\frac52(a-1)^2다. 각각 2.5, 0, 2.5이며 모든 실수 기울기 중 a=1a=1에서만 0으로 최소다.
  2. 오차는 4−5=−14-5=-1, 9−7=29-7=2다. MSE는 (1+4)/2=2.5(1+4)/2=2.5다.
  3. 처음은 10/2=510/2=5다. 복사 뒤에는 합이 20, 개수가 4여서 20/4=520/4=5로 같다.
  4. 두 예측 모두 0이다. 손실은 ((−2)2+22)/2=4((-2)^2+2^2)/2=4로 일정하다. 이 자료로 기울기 하나를 선택할 수 없다.
  5. ∑xi2=1+4+9=14\sum x_i^2=1+4+9=14, ∑xiyi=3+10+15=28\sum x_iy_i=3+10+15=28, ∑yi2=9+25+25=59\sum y_i^2=9+25+25=59다. L(a)=(14a2−56a+59)/3=143(a−2)2+1L(a)=(14a^2-56a+59)/3=\frac{14}{3}(a-2)^2+1이므로 a=2a=2에서 최솟값 1이다. 검산하면 a=2a=2의 오차는 −1,−1,1-1,-1,1이고 제곱의 평균이 1이다.

다음 손실함수의 기울기는 최소점을 바로 풀어 쓰는 대신, 현재 위치에서 손실이 어느 쪽으로 변하는지 읽는다.

더 읽기

  • 교육부, 2022 개정 교육과정 고시 — 별책8 [12인수04-03]의 y=axy=ax에 대한 일변수 손실 범위를 따른다.
  • 씨마스, 인공지능 수학 156쪽 — 원점 통과 예측의 오차 제곱 평균이 기울기의 이차함수가 되는 전개와 손실함수의 다른 이름을 실제 면에서 읽었다. 교과서는 오차를 관측값−예측값으로 쓰며, 이 글은 다른 자료로 계산했다.
  • Google, Linear regression: Loss — 제곱오차 합과 평균의 정의를 참고했다. 모든 손실함수가 MSE라는 뜻으로 범위를 넓히지 않는다.

영상 노트

영상 노트
  • 00:00 반대 부호의 오차가 지워지는 문제
  • 00:50 식 (1) — 자료는 고정하고 기울기만 바꾸기, 교과서의 오차 부호
  • 01:50 그림 1 — 오차 제곱을 정사각형 넓이로
  • 02:40 그림 2 — 오차의 평균은 왜 기준이 못 되나
  • 03:40 식 (2)에서 식 (3)으로 전개, 그림 3 — 최소 손실 0.1
  • 05:30 여섯 점 표 → 식 (4)~(7) → 최소점 2
  • 07:30 식 (8)과 모든 입력이 0인 경계
  • 08:30 그림 4 — 합과 평균의 최소점은 같다
  • 09:30 새 연습

지도에서의 위치

이 페이지의 기록
  1. 2026-11-16 · 예측식의 기울기와 손실함수의 기울기를 질문 답에서 구별
  2. 2026-11-16 · 에이전트 초안 — 조건·계산·가상 자료와 새 연습 작성
  3. 2026-11-17 · 전수 검수 반영 — 교과서의 오차 부호(관측값−예측값)·다른 이름과 다리, 오차 제곱을 넓이로 보는 그림, 오차 평균이 상쇄되는 반례 그림, 절댓값 대신 제곱하는 이유 질문, 여섯 점 자료의 표 → 세 합 → 완전제곱 대표 유형과 일반 최소점, 합과 평균의 비교 절, 단위 질문 표현 바로잡기, 비중 평균 오해, 해보기 5문항 (에이전트 수정, 그림 1→4)
  4. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림