선형대수벡터와 내적#004

벡터와 내적

Vectors and Dot Product

벡터의 내적은 두 벡터의 성분끼리 곱해 모두 더한 숫자 하나다. (3, 1)과 (1, 2)의 내적은 5이고, 두 길이로 나눈 코사인 유사도는 0.707(사이각 45°)이다. 내적과 코사인 유사도가 갈리는 경우, 사영, NumPy 코드까지 숫자로 확인한다.

주인공 기호
x·y
읽는 시간
약 12분
선수 개념
시그마 (수열의 합)

직관 — 한낮의 막대 그림자

직관

햇빛이 땅에 수직으로 내리쬐는 한낮, 땅에 막대 하나를 눕히고 그 밑동에 다른 막대를 세워, 눕힌 막대 바로 위에 선 벽면 안에서만 기울인다. 그러면 세운 막대의 그림자는 눕힌 막대를 따라 지고, 세운 막대를 땅 쪽으로 눕힐수록 길어지고, 똑바로 세우면 점이 되고, 뒤로 넘기면 반대쪽으로 진다. 그림자가 반대쪽이면 길이에 음의 부호를 붙이고, 이 값에 눕힌 막대의 길이를 곱하면 내적이다.

여기서 눕힌 막대가 벡터 a\mathbf{a}, 세운 막대가 b\mathbf{b}다. 벽면은 두 벡터가 함께 놓인 평면(그림 1의 평면)이다. 두 막대 사이의 각이 사이각 φ\varphi다. 그림자는 b\mathbf{b}를 a\mathbf{a} 위로 내린 것으로, 뒤에서 사영이라는 이름으로 다시 나온다.

AI 모델은 단어와 문장을 숫자 수백 개짜리 벡터로 바꿔 다룬다. 두 벡터가 얼마나 맞는지는 내적으로 잰다. 비슷한 문서를 찾는 검색과 트랜스포머의 어텐션이 이 계산을 쓴다.

이 페이지는 2차원 한 쌍 a=(3,1)\mathbf{a} = (3, 1), b=(1,2)\mathbf{b} = (1, 2)와 3차원 한 쌍 u\mathbf{u}, w\mathbf{w}로 이 그림자를 숫자로 잰다. 그리고 내적이 크다는 것이 '비슷하다'는 뜻인지 묻는다.

벡터는 숫자를 순서대로 늘어놓은 것이다

벡터는 숫자 nn개를 정해진 순서로 늘어놓은 것이다. 그 숫자 하나하나를 성분, 개수 nn을 차원이라 한다.

x=(x1, x2, …, xn)∈Rn(1)\mathbf{x} = (x_1,\ x_2,\ \dots,\ x_n) \in \mathbb{R}^n \tag{1}

Rn\mathbb{R}^n은 실수 nn개짜리 벡터를 모두 모은 집합이고, ∈\in은 그 안에 든다는 뜻이다. a=(3,1)\mathbf{a} = (3, 1)은 2차원이라 평면 위의 화살표로 그릴 수 있다(그림 1). 단어나 문장을 숫자 768개로 바꾼 임베딩은 그릴 수 없지만, 똑같이 768차원 벡터다.11 물리에서는 벡터를 '크기와 방향을 가진 화살표'로 배운다. 화살표는 2·3차원 벡터를 그리는 한 방법일 뿐이고, 식 (1)의 숫자 목록이 정의다.

같은 차원의 두 벡터는 성분끼리 더한다. 숫자 하나(스칼라)를 곱하면 모든 성분에 곱한다(스칼라배).

x+y=(x1+y1, …, xn+yn),s x=(sx1, …, sxn)(2)\mathbf{x} + \mathbf{y} = (x_1 + y_1,\ \dots,\ x_n + y_n), \qquad s\,\mathbf{x} = (s x_1,\ \dots,\ s x_n) \tag{2}

a+b=(3+1, 1+2)=(4,3)\mathbf{a} + \mathbf{b} = (3 + 1,\ 1 + 2) = (4, 3)이고, 2a=(6,2)2\mathbf{a} = (6, 2)다. 그림 1 위쪽에서 a+b\mathbf{a} + \mathbf{b}는 a\mathbf{a}의 끝에 b\mathbf{b}를 이어 붙인 자리이고, 2a2\mathbf{a}는 같은 방향으로 두 배 길다. 뺄셈도 성분끼리 해서 a−b=(2,−1)\mathbf{a} - \mathbf{b} = (2, -1)이다.

벡터의 길이(크기, 노름)는 피타고라스 정리를 성분 nn개로 늘린 것이다.

∥x∥=x12+x22+⋯+xn2(3)\lVert \mathbf{x} \rVert = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2} \tag{3}

∥a∥=9+1=10≈3.16\lVert \mathbf{a} \rVert = \sqrt{9 + 1} = \sqrt{10} \approx 3.16, ∥b∥=5≈2.24\lVert \mathbf{b} \rVert = \sqrt{5} \approx 2.24다. ∥a+b∥=16+9=5\lVert \mathbf{a} + \mathbf{b} \rVert = \sqrt{16 + 9} = 5이고, 2a2\mathbf{a}의 길이는 a\mathbf{a}의 두 배다. 두 벡터 사이의 거리는 차의 길이 ∥x−y∥\lVert \mathbf{x} - \mathbf{y} \rVert로 잰다.

정의
기호이름원어뜻
x,y\mathbf{x}, \mathbf{y}벡터vector숫자를 순서대로 늘어놓은 것. 굵은 소문자로 쓴다
xix_i성분componentx\mathbf{x}의 ii번째 숫자. 보통체 글자 + 첨자는 성분에만 쓴다
nn차원dimension성분의 개수
Rn\mathbb{R}^nnn차원 실수 공간real coordinate space실수 nn개짜리 벡터를 모두 모은 집합
ss스칼라scalar숫자 하나. 벡터에 곱하면 모든 성분에 곱해진다
∥x∥\lVert \mathbf{x} \rVert노름(길이, 크기)norm식 (3). 원점에서 벡터 끝까지의 거리. L2 노름, 유클리드 노름이라고도 한다. 두 벡터 사이의 거리는 ∥x−y∥\lVert \mathbf{x} - \mathbf{y} \rVert
x⋅y\mathbf{x} \cdot \mathbf{y}내적dot product식 (4). 결과는 숫자 하나. 점곱, 스칼라곱, inner product라고도 한다(스칼라배와는 다른 연산). 문헌은 x⊤y\mathbf{x}^\top \mathbf{y}(⊤\top는 전치, 행렬 연산 페이지)나 ⟨x,y⟩\langle \mathbf{x}, \mathbf{y} \rangle로도 쓴다. 이 페이지의 주인공
φ\varphi사이각angle두 벡터 사이의 각, 0°에서 180° 사이. 교과서는 흔히 θ\theta로 쓰지만, 이 사이트에서 θ\theta는 파라미터라 φ\varphi로 쓴다
proj⁡xy\operatorname{proj}_{\mathbf{x}} \mathbf{y}사영projection식 (6). y\mathbf{y}를 x\mathbf{x} 방향 직선 위로 수직으로 내린 그림자
cos⁡φ\cos\varphi, cos⁡−1\cos^{-1}코사인 유사도, 역코사인cosine similarity, arccos식 (7). 내적을 두 길이의 곱으로 나눈 값. −1-1에서 1 사이. cos⁡−1\cos^{-1}은 −1-1에서 1 사이의 코사인 값을 0°에서 180° 사이의 각으로 되돌린다. 1/cos⁡1/\cos가 아니다
a,b,u,w\mathbf{a}, \mathbf{b}, \mathbf{u}, \mathbf{w}예시 벡터example vectorsa=(3,1)\mathbf{a} = (3, 1), b=(1,2)\mathbf{b} = (1, 2), u=(1,2,2)\mathbf{u} = (1, 2, 2), w=(2,1,2)\mathbf{w} = (2, 1, 2). w\mathbf{w}는 가중치가 아니라 예시 이름이다

고교 기하 교과서는 내적을 '벡터의 내적'이라 부르고, 벡터를 a⃗\vec{a}, 크기를 ∣a⃗∣\lvert\vec{a}\rvert로 쓴다. 스칼라배는 실수배, 사영은 정사영이라 한다.

2차원 예시 a = (3, 1), b = (1, 2). 위쪽은 덧셈 a + b = (4, 3)(점선 평행사변형의 대각선)과 스칼라배 2a = (6, 2)(점선 화살표)다. 아래쪽은 두 벡터의 사이각 φ = 45°와, b를 a 위로 수직으로 내린 사영 (1.5, 0.5)(굵은 화살표)다.
그림 1 2차원 예시 a=(3, 1)\mathbf{a} = (3,\ 1), b=(1, 2)\mathbf{b} = (1,\ 2). 위쪽은 덧셈 a+b=(4, 3)\mathbf{a} + \mathbf{b} = (4,\ 3)(점선 평행사변형의 대각선)과 스칼라배 2a=(6, 2)2\mathbf{a} = (6,\ 2)(점선 화살표)다. 아래쪽은 두 벡터의 사이각 φ=45°\varphi = 45°와, b\mathbf{b}를 a\mathbf{a} 위로 수직으로 내린 사영 (1.5, 0.5)(1.5,\ 0.5)(굵은 화살표)다. figures/vector_geometry.py

내적은 성분끼리 곱해 모두 더한 숫자 하나다

두 벡터의 내적은 같은 자리의 성분끼리 곱한 뒤 모두 더한 값이다. 결과는 벡터가 아니라 숫자 하나다.

x⋅y=∑i=1nxiyi=x1y1+x2y2+⋯+xnyn(4)\mathbf{x} \cdot \mathbf{y} = \sum_{i=1}^{n} x_i y_i = x_1 y_1 + x_2 y_2 + \cdots + x_n y_n \tag{4}

∑i=1n\sum_{i=1}^{n}은 ii를 1부터 nn까지 하나씩 바꾸며 뒤의 식을 모두 더하라는 기호(시그마)다. 시그마 기호는 시그마 (수열의 합) 페이지에서 따로 다룬다.

a⋅b=3×1+1×2=5\mathbf{a} \cdot \mathbf{b} = 3 \times 1 + 1 \times 2 = 5다. 3차원 한 쌍도 같은 방법으로 u⋅w=1×2+2×1+2×2=8\mathbf{u} \cdot \mathbf{w} = 1 \times 2 + 2 \times 1 + 2 \times 2 = 8이다. 차원이 다른 두 벡터는 짝지을 성분이 모자라서 내적이 정의되지 않는다.

자기 자신과의 내적은 성분의 제곱을 모두 더한 것이라 식 (3)의 길이의 제곱이다. a⋅a=9+1=10=∥a∥2\mathbf{a} \cdot \mathbf{a} = 9 + 1 = 10 = \lVert \mathbf{a} \rVert^2이다. u⋅u=1+4+4=9\mathbf{u} \cdot \mathbf{u} = 1 + 4 + 4 = 9라 ∥u∥=3\lVert \mathbf{u} \rVert = 3이고, ∥w∥\lVert \mathbf{w} \rVert도 3이다.

곱하는 순서를 바꿔도 x⋅y=y⋅x\mathbf{x} \cdot \mathbf{y} = \mathbf{y} \cdot \mathbf{x}로 같다. 한쪽을 ss배 하면 내적도 ss배가 된다. 2a2\mathbf{a}와 b\mathbf{b}의 내적은 6+4=106 + 4 = 10으로 a⋅b\mathbf{a} \cdot \mathbf{b}의 두 배다.

내적은 왜 두 길이와 코사인의 곱인가

사이각을 말할 때는 두 벡터가 모두 영벡터가 아니라고 한다.

내적은 두 길이의 곱에 사이각의 코사인을 곱한 값과 같다. 두 벡터가 나란하지 않을 때는 x\mathbf{x}, y\mathbf{y}, x−y\mathbf{x} - \mathbf{y}가 이루는 삼각형의 변 길이를 식 (4)로 한 번, 코사인 법칙으로 한 번 계산해 맞대면 나온다(아래 접힌 유도).22 고교 기하 교과서는 식 (5)를 내적의 정의로 삼고, 식 (4)를 그 성분 계산으로 가르친다. 순서만 다르고 값은 같다.

x⋅y=∥x∥ ∥y∥cos⁡φ(5)\mathbf{x} \cdot \mathbf{y} = \lVert \mathbf{x} \rVert\, \lVert \mathbf{y} \rVert \cos\varphi \tag{5}

코사인 cos⁡φ\cos\varphi는 반지름 1인 원 위에서 가로축으로부터 φ\varphi만큼 돈 점의 가로 좌표다. 가로축(눕힌 막대)과 φ\varphi를 이루도록 든 길이 1짜리 막대의 부호 있는 그림자와 같다. 각이 0°면 1, 90°면 0, 180°면 −1-1이고, 그 사이에서는 각이 커질수록 줄어든다(그림 2).

그림 1 아래쪽의 a,b\mathbf{a}, \mathbf{b}를 넣으면 5=10×5×cos⁡φ5 = \sqrt{10} \times \sqrt{5} \times \cos\varphi다. 그래서 cos⁡φ=5/50=1/2≈0.707\cos\varphi = 5 / \sqrt{50} = 1/\sqrt{2} \approx 0.707이다. 코사인 값에서 각을 되돌리는 역코사인으로 φ=cos⁡−1(1/2)=45°\varphi = \cos^{-1}(1/\sqrt{2}) = 45°다. NumPy의 np.arccos는 각을 라디안(0.785)으로 돌려주니, 도로 보려면 np.degrees(np.arccos(x))를 쓴다.

식 (5)를 ∥x∥×(∥y∥cos⁡φ)\lVert \mathbf{x} \rVert \times (\lVert \mathbf{y} \rVert \cos\varphi)로 묶으면 직관의 그림자가 보인다. ∥y∥cos⁡φ\lVert \mathbf{y} \rVert \cos\varphi는 y\mathbf{y}를 x\mathbf{x} 방향 직선 위로 수직으로 내린 그림자에 방향의 부호를 붙인 성분이다. 각이 90°를 넘으면 이 값이 음수라, 그림자가 반대쪽에 진다.

식 (4)와 식 (5)는 왜 같은가 — 코사인 법칙

두 벡터의 끝을 잇는 변 x−y\mathbf{x} - \mathbf{y}의 길이를 두 가지로 계산한다. 성분으로 펼치면 식 (3)과 식 (4)에서 다음이 나온다.

∥x−y∥2=∑i=1n(xi−yi)2=∥x∥2+∥y∥2−2 x⋅y\lVert \mathbf{x} - \mathbf{y} \rVert^2 = \sum_{i=1}^{n} (x_i - y_i)^2 = \lVert \mathbf{x} \rVert^2 + \lVert \mathbf{y} \rVert^2 - 2\, \mathbf{x} \cdot \mathbf{y}

두 벡터가 나란하지 않으면, 세 변이 x\mathbf{x}, y\mathbf{y}, x−y\mathbf{x} - \mathbf{y}인 삼각형에 코사인 법칙을 쓰면 다음이 나온다.

∥x−y∥2=∥x∥2+∥y∥2−2 ∥x∥ ∥y∥cos⁡φ\lVert \mathbf{x} - \mathbf{y} \rVert^2 = \lVert \mathbf{x} \rVert^2 + \lVert \mathbf{y} \rVert^2 - 2\, \lVert \mathbf{x} \rVert\, \lVert \mathbf{y} \rVert \cos\varphi

두 식의 마지막 항을 맞대면 식 (5)다. a,b\mathbf{a}, \mathbf{b}로 확인하면 a−b=(2,−1)\mathbf{a} - \mathbf{b} = (2, -1)이라 ∥a−b∥2=5\lVert \mathbf{a} - \mathbf{b} \rVert^2 = 5이고, 10+5−2×5=510 + 5 - 2 \times 5 = 5로 같다.

나란한 경우에는 y=cx\mathbf{y}=c\mathbf{x}(c≠0c\ne0)로 쓴다. 내적은 c∥x∥2c\lVert\mathbf{x}\rVert^2이고 ∥y∥=∣c∣∥x∥\lVert\mathbf{y}\rVert=|c|\lVert\mathbf{x}\rVert다. c>0c>0이면 사이각이 0°, c<0c<0이면 180°이므로 식 (5)는 이 경우에도 성립한다.

차원이 3을 넘으면 각을 그릴 수 없으니, 거꾸로 식 (5)로 각을 정한다. 코시-슈바르츠 부등식 ∣x⋅y∣≤∥x∥ ∥y∥\lvert \mathbf{x} \cdot \mathbf{y} \rvert \le \lVert \mathbf{x} \rVert\, \lVert \mathbf{y} \rVert 덕분에 cos⁡φ\cos\varphi가 −1-1과 1 사이에 들어와 각이 하나로 정해진다(두 벡터가 영벡터가 아닐 때). 이 페이지의 두 쌍에서는 5≤50≈7.075 \le \sqrt{50} \approx 7.07, 8≤98 \le 9이다.

사영은 내적으로 구한 그림자다

사영의 방향을 정하는 x\mathbf{x}는 영벡터가 아니어야 한다. 사영벡터의 길이는 음수가 될 수 없으므로 ∣x⋅y∣/∥x∥\lvert\mathbf{x}\cdot\mathbf{y}\rvert/\lVert\mathbf{x}\rVert이고, 부호 있는 성분과 구별한다.

y\mathbf{y}를 x\mathbf{x} 방향 직선 위로 수직으로 내린 그림자를 사영(정사영)이라 한다. 방향의 부호를 포함한 성분 x⋅y/∥x∥\mathbf{x} \cdot \mathbf{y} / \lVert \mathbf{x} \rVert에 x\mathbf{x} 방향의 길이 1짜리 벡터 x/∥x∥\mathbf{x} / \lVert \mathbf{x} \rVert를 곱한 것이라, 분모가 길이의 제곱이다.

proj⁡xy=x⋅y∥x∥2 x(6)\operatorname{proj}_{\mathbf{x}} \mathbf{y} = \frac{\mathbf{x} \cdot \mathbf{y}}{\lVert \mathbf{x} \rVert^2}\, \mathbf{x} \tag{6}

여기서 c=(x⋅y)/∥x∥2c=(\mathbf{x}\cdot\mathbf{y})/\lVert\mathbf{x}\rVert^2라 두면 사영은 cxc\mathbf{x}다. 남은 벡터와 x\mathbf{x}의 내적은 x⋅(y−cx)\mathbf{x}\cdot(\mathbf{y}-c\mathbf{x})다. 전개하면 x⋅y−c∥x∥2=0\mathbf{x}\cdot\mathbf{y}-c\lVert\mathbf{x}\rVert^2=0이므로, 남은 벡터는 항상 사영 방향과 직교한다.

b\mathbf{b}를 a\mathbf{a} 위로 내리면 배수가 5/10=0.55 / 10 = 0.5라서 proj⁡ab=0.5×(3,1)=(1.5,0.5)\operatorname{proj}_{\mathbf{a}} \mathbf{b} = 0.5 \times (3, 1) = (1.5, 0.5)다. 그림 1 아래쪽의 굵은 화살표가 이것이다. 길이는 5/10≈1.585 / \sqrt{10} \approx 1.58로, ∥b∥cos⁡φ=5/2\lVert \mathbf{b} \rVert \cos\varphi = \sqrt{5} / \sqrt{2}와 같다.

남은 몫 b−(1.5,0.5)=(−0.5,1.5)\mathbf{b} - (1.5, 0.5) = (-0.5, 1.5)는 a\mathbf{a}와 내적이 −1.5+1.5=0-1.5 + 1.5 = 0이다. 사영은 벡터 하나를 '다른 벡터 방향의 몫'과 '그것과 직각인 몫'으로 쪼갠다. 그림 1 아래쪽의 점선과 작은 직각 표시가 그 두 번째 몫이다.

내적이 0이거나 음수면 무슨 뜻인가

영벡터가 아니면 길이가 양수라, 내적의 부호는 cos⁡φ\cos\varphi의 부호를 따른다. 사이각이 90°보다 작으면 양수, 90°면 0, 90°보다 크면 음수다(그림 2).

내적이 0인 두 벡터를 직교한다고 한다. 수직, 직각과 같은 말이다. a=(3,1)\mathbf{a} = (3, 1)과 (−1,3)(-1, 3)은 3×(−1)+1×3=03 \times (-1) + 1 \times 3 = 0이라 직교한다.

a\mathbf{a}와 −a-\mathbf{a}는 정반대라 cos⁡φ=−1\cos\varphi = -1이다. 그래서 내적은 −∥a∥2=−10-\lVert \mathbf{a} \rVert^2 = -10이다. 그림 2는 이 페이지의 다섯 쌍을 코사인 곡선 위에 찍은 것이다. 12u=(0.5,1,1)\tfrac{1}{2}\mathbf{u} = (0.5, 1, 1)은 u\mathbf{u}의 성분을 모두 반으로 줄인 벡터라 방향이 같고, u\mathbf{u}와 w\mathbf{w}의 각 27.3°는 내적 8을 두 길이의 곱 3×3=93 \times 3 = 9로 나눈 cos⁡−1(8/9)\cos^{-1}(8/9)이다.

사이각 φ에 따른 cosφ. 점은 이 페이지의 다섯 쌍이다. u와 1/2u는 0°에서 1, u와 w는 약 27.3°에서 0.889, a와 b는 45°에서 0.707, a와 (-1, 3)은 90°에서 0, a와 -a는 180°에서 -1이다. 위쪽 띠(양수)는 φ < 90°, 아래쪽 띠(음수)는 φ > 90°다.
그림 2 사이각 φ\varphi에 따른 cos⁡φ\cos\varphi. 점은 이 페이지의 다섯 쌍이다. u\mathbf{u}와 12u\tfrac{1}{2}\mathbf{u}는 0°에서 1, u\mathbf{u}와 w\mathbf{w}는 약 27.3°에서 0.889, a\mathbf{a}와 b\mathbf{b}는 45°에서 0.707, a\mathbf{a}와 (−1, 3)(-1,\ 3)은 90°에서 0, a\mathbf{a}와 −a-\mathbf{a}는 180°에서 −1-1이다. 위쪽 띠(양수)는 φ<90°\varphi < 90°, 아래쪽 띠(음수)는 φ>90°\varphi > 90°다. figures/cosine_curve.py

내적이 0이면 무슨 뜻이야?

내적이 0이면 두 벡터가 직교한다(서로 수직, 사이각 90°)는 뜻이다. 내적은 두 길이와 cos⁡φ\cos\varphi의 곱이라, 둘 다 영벡터가 아니면 cos⁡φ=0\cos\varphi = 0이고, 0°에서 180° 사이에서 그런 각은 90°뿐이다. a=(3,1)\mathbf{a} = (3, 1)과 (−1,3)(-1, 3)이 그림 2의 90° 자리에 있다. 한쪽이 영벡터(성분이 모두 0)면 각은 정해지지 않지만 내적은 0이라, 관례상 모든 벡터와 직교한다고 본다.

코사인 유사도가 음수면 반대라는 뜻이야?

아니다. 코사인 유사도가 음수면 사이각이 90°보다 크다는 뜻이고, 정확히 반대 방향인 것은 −1-1일 때뿐이다. a\mathbf{a}와 −a-\mathbf{a}가 −1-1이다(그림 2의 180°). 0은 반대가 아니라 직교(90°)다.

코사인 유사도는 왜 내적을 두 길이로 나누나

코사인 유사도는 내적을 두 길이의 곱으로 나눈 값이다(두 벡터 모두 영벡터가 아닐 때). 내적은 식 (5)대로 두 길이에도 비례해서, 나눠야 방향만 남는다. 내적이 양수인(사이각이 90°보다 작은) 벡터끼리는 방향이 같아도 짧으면 작고, 덜 맞아도 길면 크다. 검색어 u\mathbf{u}와 방향이 똑같은 12u\tfrac{1}{2}\mathbf{u}는 내적이 4.5인데, 덜 맞는 2w2\mathbf{w}는 16이다.

cos⁡φ=x⋅y∥x∥ ∥y∥(7)\cos\varphi = \frac{\mathbf{x} \cdot \mathbf{y}}{\lVert \mathbf{x} \rVert\, \lVert \mathbf{y} \rVert} \tag{7}

그림 3은 검색어 벡터 u=(1,2,2)\mathbf{u} = (1, 2, 2)와 후보 셋을 비교한다. 내적은 12u\tfrac{1}{2}\mathbf{u}(0.5+2+20.5 + 2 + 2), w\mathbf{w}, 2w2\mathbf{w}(2×82 \times 8) 순으로 4.5, 8, 16이다.

코사인 유사도로 재면 1등과 꼴찌가 바뀌어 12u\tfrac{1}{2}\mathbf{u}가 1로 가장 크다. w\mathbf{w}와 2w2\mathbf{w}는 0.889로 같다. 식 (7)이 내적 16을 두 길이의 곱 3×6=183 \times 6 = 18로 나눠, 늘어난 길이의 몫을 지우기 때문이다.

검색어 u = (1, 2, 2)와 후보 1/2u, w, 2w의 내적(왼쪽)과 코사인 유사도(오른쪽). 내적은 4.5, 8, 16으로 2w가 가장 크지만, 코사인 유사도는 1, 0.889, 0.889로 u와 방향이 같은 1/2u가 가장 크다.
그림 3 검색어 u=(1, 2, 2)\mathbf{u} = (1,\ 2,\ 2)와 후보 12u\tfrac{1}{2}\mathbf{u}, w\mathbf{w}, 2w2\mathbf{w}의 내적(왼쪽)과 코사인 유사도(오른쪽). 내적은 4.5, 8, 16으로 2w2\mathbf{w}가 가장 크지만, 코사인 유사도는 1, 0.889, 0.889로 u\mathbf{u}와 방향이 같은 12u\tfrac{1}{2}\mathbf{u}가 가장 크다. figures/dot_vs_cosine.py

두 벡터를 먼저 자기 길이로 나눠 길이 1인 벡터(단위벡터)로 맞춰 두면(정규화) 내적이 곧 코사인 유사도다. 식 (7)의 분모가 1이 되기 때문이다. 예를 들어 a/∥a∥=(3,1)/10≈(0.949,0.316)\mathbf{a} / \lVert \mathbf{a} \rVert = (3, 1)/\sqrt{10} \approx (0.949, 0.316)은 길이가 1이다.

핵심

두 벡터가 모두 영벡터가 아닐 때, 내적은 두 길이와 코사인의 곱이라 길이에도 비례한다. 방향이 비슷한지는 두 길이로 나눈 코사인 유사도로 잰다.

코사인 유사도랑 내적 차이가 뭐야?

코사인 유사도는 내적을 두 길이의 곱으로 나눈 값이라(식 (7)), 길이는 빼고 방향만 잰다. 그래서 −1-1과 1 사이에 있고, 한 벡터를 양수배로 늘리거나 줄여도 값이 그대로다. w\mathbf{w}를 2w2\mathbf{w}로 늘리면 내적은 8에서 16이 되지만 코사인 유사도는 0.889 그대로다. 두 벡터가 이미 길이 1이면 둘은 같은 값이다.

코사인 유사도랑 유클리드 거리는 뭐가 달라?

코사인 유사도는 방향만 재고, 유클리드 거리 ∥x−y∥\lVert \mathbf{x} - \mathbf{y} \rVert는 길이의 차이까지 잰다. u\mathbf{u}에서 보면 w\mathbf{w}와 2w2\mathbf{w}는 코사인 유사도가 0.889로 같지만, 거리는 약 1.41과 3.61로 다르다. 두 벡터를 길이 1로 정규화하면 ∥x−y∥2=2(1−cos⁡φ)\lVert \mathbf{x} - \mathbf{y} \rVert^2 = 2(1 - \cos\varphi)라, 가까운 순서와 코사인 유사도가 큰 순서가 같다.

벡터와 내적의 흔한 오해

  • 내적의 결과도 벡터다 — 식 (4)는 성분끼리 곱한 (3,2)(3, 2)를 다시 모두 더해 숫자 5 하나로 만든다. NumPy에서 a * b는 성분별 곱 [3. 2.](벡터)이고, 내적은 a @ b나 np.dot(a, b)의 5.0이다.
  • 내적이 크면 두 벡터가 가깝다 — 그림 3에서 내적이 가장 큰 2w2\mathbf{w}(16)는 u−2w=(−3,0,−2)\mathbf{u} - 2\mathbf{w} = (-3, 0, -2)라 u\mathbf{u}까지의 거리가 9+0+4=13≈3.61\sqrt{9 + 0 + 4} = \sqrt{13} \approx 3.61로 세 후보 중 가장 멀다. 방향이 똑같은 12u\tfrac{1}{2}\mathbf{u}는 내적이 가장 작다(4.5).
  • 화살표로 그릴 수 있어야 벡터다 — 식 (1)대로 순서 있는 숫자 목록이면 벡터라서, 그릴 수 없는 768차원 임베딩에도 2차원의 a,b\mathbf{a}, \mathbf{b}와 똑같이 식 (2)~(7)이 적용된다.

임베딩 검색은 내적과 코사인 유사도 중 무엇으로 재나

그 검색 모델이 학습 때 쓴 유사도로 잰다. 흔히 코사인 유사도이고, 정규화하지 않은 내적으로 학습한 모델은 내적 그대로 잰다.

AI 모델은 단어·문장·이미지를 수백에서 수천 차원의 임베딩 벡터로 바꿔 다룬다. 비슷한 문서를 찾는 검색은 질문 벡터와의 유사도가 큰 순서로 문서 벡터를 고르는 일이다. 벡터를 미리 정규화해 두면 내적만 계산해도 코사인 유사도와 같은 순서가 나온다.

정규화하지 않은 두 벡터의 내적을 유사도로 삼아 학습한 검색 모델도 있다(DPR, Karpukhin 외 2020). 그런 모델의 벡터를 정규화해 코사인으로 바꾸면 그림 3처럼 순위가 바뀔 수 있다.

벡터와 내적은 AI에서 어디에 쓰이나

트랜스포머의 어텐션은 질의 벡터 q\mathbf{q}와 키 벡터 k\mathbf{k}의 내적을 점수로 쓴다. 이 점수를 dk\sqrt{d_k}로 나누고 소프트맥스에 넣어 합이 1인 가중치로 바꾼다. 소프트맥스는 소프트맥스 페이지에서 다룬다.

정의
기호이름원어뜻
q,k,dk\mathbf{q}, \mathbf{k}, d_k질의, 키, 키 차원query, key, key dimension어텐션이 내적하는 두 벡터와 그 차원. dkd_k의 첨자는 성분 번호가 아니라 관례 표기다

dk\sqrt{d_k}는 어느 쌍의 점수든 같은 수로 나누는 것이라, 쌍마다 두 길이로 나누는 코사인 유사도와 다르다. 그래서 원래 트랜스포머(Vaswani 외)의 어텐션 점수에는 벡터의 길이가 그대로 남는다.

학습에서도 파라미터와 그래디언트는 벡터다. 경사하강법의 한 걸음은 그래디언트에 학습률을 곱해(스칼라배) 파라미터에서 빼는(덧셈) 식 (2)의 연산이다. 모멘텀의 속도도 지난 속도의 몇 배에 그래디언트를 더한 벡터다.

이 페이지NumPy · PyTorch · SciPy
벡터 x\mathbf{x}1차원 배열 np.array([3.0, 1.0]), torch.tensor([3.0, 1.0]). shape은 NumPy에서 (2,), PyTorch에서 torch.Size([2])
x+y\mathbf{x} + \mathbf{y}, s xs\,\mathbf{x} (식 (2))x + y, s * x
성분별 곱 (x1y1, …, xnyn)(x_1 y_1,\ \dots,\ x_n y_n)x * y — 내적이 아니다. (x * y).sum()이 내적
x⋅y\mathbf{x} \cdot \mathbf{y} (식 (4))x @ y, np.dot(x, y), torch.dot(x, y) (torch.dot은 1차원 텐서 둘만 받는다)
∥x∥\lVert \mathbf{x} \rVert (식 (3))np.linalg.norm(x), torch.linalg.vector_norm(x) — 기본값이 식 (3)의 2-노름
cos⁡φ\cos\varphi (식 (7))x @ y / (np.linalg.norm(x) * np.linalg.norm(y)), torch.cosine_similarity(x1, x2, dim=1, eps=1e-8)(x1, x2는 성분이 아니라 비교할 두 텐서). dim 기본값이 1이라, 1차원 벡터 둘이면 dim=0(또는 dim=-1)을 준다
1−cos⁡φ1 - \cos\varphiscipy.spatial.distance.cosine(x, y) — 이름과 달리 유사도가 아니라 흔히 '코사인 거리'라 부르는 1−cos⁡φ1 - \cos\varphi를 돌려준다. 이 페이지의 거리 ∥x−y∥\lVert \mathbf{x} - \mathbf{y} \rVert와 다른 양이고, 길이 1인 벡터끼리는 ∥x−y∥2=2(1−cos⁡φ)\lVert \mathbf{x} - \mathbf{y} \rVert^2 = 2(1 - \cos\varphi)다
정규화 x/∥x∥\mathbf{x} / \lVert \mathbf{x} \rVerttorch.nn.functional.normalize(x, dim=0) (기본값 p=2, dim=1)
q⋅k\mathbf{q} \cdot \mathbf{k}q @ k. 실제 모델은 점수 여러 개를 행렬 곱 한 번으로 계산한다(행렬 연산)

np.dot이랑 @랑 * 는 뭐가 달라?

1차원 배열 둘에서 np.dot(a, b)와 a @ b는 같은 내적이고, a * b는 성분별 곱이다. a=(3,1)\mathbf{a} = (3, 1), b=(1,2)\mathbf{b} = (1, 2)면 앞의 둘은 5.0을 낸다. a * b는 벡터 (3, 2)를 내고, .sum()으로 모두 더해야 내적 5가 된다. 2차원 배열(행렬)에서는 @가 행렬 곱이다.

코드로 확인하기

기호를 누르면 수식과 코드에서 같은 것이 함께 표시된다. 출력 첫 줄에서 a * b가 내적이 아니라 성분별 곱이라는 것도 보인다.

수식
a⋅b=∑i=12aibi(4)\sym{inner}{\mathbf{a} \cdot \mathbf{b}} = \sum_{i=1}^{2} a_i b_i \tag{4}proj⁡ab=a⋅b∥a∥2 a(6)\sym{proj}{\operatorname{proj}_{\mathbf{a}} \mathbf{b}} = \frac{\sym{inner}{\mathbf{a} \cdot \mathbf{b}}}{\sym{norm_a}{\lVert \mathbf{a} \rVert}^2}\, \mathbf{a} \tag{6}cos⁡φ=a⋅b∥a∥ ∥b∥(7)\sym{cos_phi}{\cos\varphi} = \frac{\sym{inner}{\mathbf{a} \cdot \mathbf{b}}}{\sym{norm_a}{\lVert \mathbf{a} \rVert}\, \sym{norm_b}{\lVert \mathbf{b} \rVert}} \tag{7}
코드 figures/dot_product.py
import numpy as np

a = np.array([3.0, 1.0])            # 𝐚
b = np.array([1.0, 2.0])            # 𝐛

inner = np.sum(a * b)               # 식 (4): 성분끼리 곱해(a * b) 모두 더한다
norm_a = np.sqrt(np.sum(a * a))     # 식 (3): ‖a‖ = √(a·a)
norm_b = np.sqrt(np.sum(b * b))
proj = inner / np.sum(a * a) * a    # 식 (6): ‖a‖² = a·a. b 를 a 위로 내린 그림자
cos_phi = inner / (norm_a * norm_b) # 식 (7)
print("a * b =", a * b, "  <- 성분별 곱. 아직 벡터다")
print("a·b =", inner, "  a @ b =", a @ b, "  np.dot(a, b) =", np.dot(a, b))
print(f"‖a‖ = {norm_a:.3f}  ‖b‖ = {norm_b:.3f}")
print(f"cos φ = {cos_phi:.3f}  φ = {np.degrees(np.arccos(cos_phi)):.1f}°")
print("사영 =", proj, "  (b - 사영)·a =", (b - proj) @ a)

u = np.array([1.0, 2.0, 2.0])       # 𝐮 (3차원)
w = np.array([2.0, 1.0, 2.0])       # 𝐰
print("u·w =", u @ w, "  cos φ =", round(u @ w / (np.linalg.norm(u) * np.linalg.norm(w)), 3))
$ python dot_product.py
a * b = [3. 2.]   <- 성분별 곱. 아직 벡터다
a·b = 5.0   a @ b = 5.0   np.dot(a, b) = 5.0
‖a‖ = 3.162  ‖b‖ = 2.236
cos φ = 0.707  φ = 45.0°
사영 = [1.5 0.5]   (b - 사영)·a = 0.0
u·w = 8.0   cos φ = 0.889

직접 해보기

  1. u=(1,2,2)\mathbf{u} = (1, 2, 2)와 (0,3,4)(0, 3, 4)의 내적과 두 길이, cos⁡φ\cos\varphi를 구하라. 사이각은 대략 몇 도이고, w\mathbf{w}(27.3°)와 비교하면 어느 쪽이 u\mathbf{u}와 방향이 더 비슷한가?
  2. (2,−2,1)(2, -2, 1)은 u\mathbf{u}와 직교하나? w\mathbf{w}와는 어떤가?
  3. 이번에는 a\mathbf{a}를 b\mathbf{b} 위로 내린 사영을 식 (6)으로 구하라. 무엇이 나오고, 왜 그런가?
답
  1. 내적은 0+6+8=140 + 6 + 8 = 14, 길이는 ∥u∥=3\lVert \mathbf{u} \rVert = 3과 0+9+16=5\sqrt{0 + 9 + 16} = 5다. 그래서 cos⁡φ=14/15≈0.933\cos\varphi = 14/15 \approx 0.933이고, 각은 cos⁡−1(14/15)≈21.0°\cos^{-1}(14/15) \approx 21.0°다. w\mathbf{w}의 27.3°보다 사이각이 작으니 (0,3,4)(0, 3, 4)가 u\mathbf{u}와 방향이 더 비슷하다. 내적도 14로 w\mathbf{w}의 8보다 크지만, 길이가 5로 더 길어서이기도 하다.
  2. u⋅(2,−2,1)=2−4+2=0\mathbf{u} \cdot (2, -2, 1) = 2 - 4 + 2 = 0이라 직교한다. w⋅(2,−2,1)=4−2+2=4\mathbf{w} \cdot (2, -2, 1) = 4 - 2 + 2 = 4라 w\mathbf{w}와는 직교하지 않는다.
  3. 배수가 a⋅b/∥b∥2=5/5=1\mathbf{a} \cdot \mathbf{b} / \lVert \mathbf{b} \rVert^2 = 5/5 = 1이라, 사영은 b=(1,2)\mathbf{b} = (1, 2) 자신이다. a\mathbf{a}의 끝에서 b\mathbf{b} 방향 직선으로 내린 수선의 발이 마침 b\mathbf{b}의 끝이라는 뜻이다. 실제로 남은 몫 a−b=(2,−1)\mathbf{a} - \mathbf{b} = (2, -1)은 b\mathbf{b}와 내적이 2−2=02 - 2 = 0이다.

더 읽기

  • Deep Learning, 2장 Linear Algebra — Goodfellow·Bengio·Courville, 2016. 2.1절이 벡터를 숫자의 배열로 정의하고, 2.5절(노름)이 내적을 두 노름과 코사인의 곱으로 고쳐 쓰며, 2.6절이 내적 0을 직교로 정의한다. '벡터는 숫자를 순서대로 늘어놓은 것이다' §와 식 (5)가 기댄다.
  • Introduction to Linear Algebra, 1장 Introduction to Vectors — Gilbert Strang, 2016(5판). MIT 18.06 강의의 교과서다. 1.1절이 벡터의 덧셈과 스칼라배를, 1.2절(Lengths and Dot Products)이 길이·내적·코사인 공식과 슈바르츠 부등식을 다룬다. 식 (2)~(5)와 접힌 유도가 기댄다.
  • Introduction to Information Retrieval, 6.3.1 Dot products — Manning·Raghavan·Schütze, 2008. 문서를 벡터로 놓고, 문서 길이의 영향을 없애려고 코사인 유사도로 비교한다고 설명한다. '코사인 유사도는 왜 내적을 두 길이로 나누나'·'임베딩 검색은 …' §와 흔한 오해 §가 기댄다.
  • Attention Is All You Need — Vaswani 외, 2017. 3.2.1절(Scaled Dot-Product Attention)이 질의와 키의 내적을 dk\sqrt{d_k}로 나눠 소프트맥스에 넣는 어텐션을 정의한다. '벡터와 내적은 AI에서 어디에 쓰이나' §가 기댄다.
  • Dense Passage Retrieval for Open-Domain Question Answering — Karpukhin 외, 2020. EMNLP. 질문과 문단을 각각 벡터로 바꾸고, 정규화하지 않은 두 벡터의 내적을 유사도로 삼아 검색 모델을 학습한다. '임베딩 검색은 내적과 코사인 유사도 중 무엇으로 재나' §가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "내적이 크면 두 벡터가 비슷한 걸까?"
  • 00:40 식 (1)·(2) — 숫자 목록으로서의 벡터, 그림 1 위쪽의 덧셈과 2배
  • 02:00 식 (4) 판서 — a⋅b=3+2=5\mathbf{a} \cdot \mathbf{b} = 3 + 2 = 5, 결과는 숫자 하나
  • 03:20 식 (5)와 그림 1 아래쪽 — 사이각 45°, 그림자 (1.5, 0.5)(1.5,\ 0.5)
  • 05:00 그림 2 — 내적의 부호와 직교
  • 06:10 그림 3과 식 (7) — 내적과 코사인 유사도로 1등과 꼴찌가 바뀐다, 검색은 어느 쪽으로 재나
  • 07:30 코드랩 — a * b와 a @ b · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 7, 그림 3, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15 문서(cosine_similarity·vector_norm·normalize·dot) 확인, Wikidata Q181365, 시그마·소프트맥스 페이지 링크, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 영어판 번역
  4. 2026-11-05 · 받은 질문은 소프트맥스 페이지에만 남김 (홈 '질문에서 페이지로' 중복 정리)
  5. 2026-11-05 · 남은 질문 둘을 어텐션 페이지(예정, 고차원의 코사인 유사도)와 노름 페이지(예정, L1·최대 노름)로 넘김 (영어판도)
  6. 2026-11-05 · 직접 검토 — 완성으로 올림
  7. 2026-11-13 · 독자 패널 리뷰 반영 — 첫 화면에 AI 연결, 코사인 유사도 § 제목과 정의 문장, 교과서 표기 다리, 숫자를 만든 식, 질문 블록 하나 (에이전트 수정, 다시 검토 전)
  8. 2026-11-16 · 독립 검수 V2·V3 반영 — 요약의 비영벡터 조건, 평행한 경우 유도, 그림 1 모바일 판독성 보완
  9. 2026-11-16 · 고급 대수 연결 검수 — 정사영의 방향 조건·부호 있는 성분·길이와 잔차의 직교 이유 보완