직관 — 한낮의 막대 그림자
햇빛이 땅에 수직으로 내리쬐는 한낮, 땅에 막대 하나를 눕히고 그 밑동에 다른 막대를 세워, 눕힌 막대 바로 위에 선 벽면 안에서만 기울인다. 그러면 세운 막대의 그림자는 눕힌 막대를 따라 지고, 세운 막대를 땅 쪽으로 눕힐수록 길어지고, 똑바로 세우면 점이 되고, 뒤로 넘기면 반대쪽으로 진다. 그림자가 반대쪽이면 길이에 음의 부호를 붙이고, 이 값에 눕힌 막대의 길이를 곱하면 내적이다.
여기서 눕힌 막대가 벡터 , 세운 막대가 다. 벽면은 두 벡터가 함께 놓인 평면(그림 1의 평면)이다. 두 막대 사이의 각이 사이각 다. 그림자는 를 위로 내린 것으로, 뒤에서 사영이라는 이름으로 다시 나온다.
AI 모델은 단어와 문장을 숫자 수백 개짜리 벡터로 바꿔 다룬다. 두 벡터가 얼마나 맞는지는 내적으로 잰다. 비슷한 문서를 찾는 검색과 트랜스포머의 어텐션이 이 계산을 쓴다.
이 페이지는 2차원 한 쌍 , 와 3차원 한 쌍 , 로 이 그림자를 숫자로 잰다. 그리고 내적이 크다는 것이 '비슷하다'는 뜻인지 묻는다.
벡터는 숫자를 순서대로 늘어놓은 것이다
벡터는 숫자 개를 정해진 순서로 늘어놓은 것이다. 그 숫자 하나하나를 성분, 개수 을 차원이라 한다.
은 실수 개짜리 벡터를 모두 모은 집합이고, 은 그 안에 든다는 뜻이다. 은 2차원이라 평면 위의 화살표로 그릴 수 있다(그림 1). 단어나 문장을 숫자 768개로 바꾼 임베딩은 그릴 수 없지만, 똑같이 768차원 벡터다.11 물리에서는 벡터를 '크기와 방향을 가진 화살표'로 배운다. 화살표는 2·3차원 벡터를 그리는 한 방법일 뿐이고, 식 (1)의 숫자 목록이 정의다.
같은 차원의 두 벡터는 성분끼리 더한다. 숫자 하나(스칼라)를 곱하면 모든 성분에 곱한다(스칼라배).
이고, 다. 그림 1 위쪽에서 는 의 끝에 를 이어 붙인 자리이고, 는 같은 방향으로 두 배 길다. 뺄셈도 성분끼리 해서 이다.
벡터의 길이(크기, 노름)는 피타고라스 정리를 성분 개로 늘린 것이다.
, 다. 이고, 의 길이는 의 두 배다. 두 벡터 사이의 거리는 차의 길이 로 잰다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 벡터 | vector | 숫자를 순서대로 늘어놓은 것. 굵은 소문자로 쓴다 | |
| 성분 | component | 의 번째 숫자. 보통체 글자 + 첨자는 성분에만 쓴다 | |
| 차원 | dimension | 성분의 개수 | |
| 차원 실수 공간 | real coordinate space | 실수 개짜리 벡터를 모두 모은 집합 | |
| 스칼라 | scalar | 숫자 하나. 벡터에 곱하면 모든 성분에 곱해진다 | |
| 노름(길이, 크기) | norm | 식 (3). 원점에서 벡터 끝까지의 거리. L2 노름, 유클리드 노름이라고도 한다. 두 벡터 사이의 거리는 | |
| 내적 | dot product | 식 (4). 결과는 숫자 하나. 점곱, 스칼라곱, inner product라고도 한다(스칼라배와는 다른 연산). 문헌은 (는 전치, 행렬 연산 페이지)나 로도 쓴다. 이 페이지의 주인공 | |
| 사이각 | angle | 두 벡터 사이의 각, 0°에서 180° 사이. 교과서는 흔히 로 쓰지만, 이 사이트에서 는 파라미터라 로 쓴다 | |
| 사영 | projection | 식 (6). 를 방향 직선 위로 수직으로 내린 그림자 | |
| , | 코사인 유사도, 역코사인 | cosine similarity, arccos | 식 (7). 내적을 두 길이의 곱으로 나눈 값. 에서 1 사이. 은 에서 1 사이의 코사인 값을 0°에서 180° 사이의 각으로 되돌린다. 가 아니다 |
| 예시 벡터 | example vectors | , , , . 는 가중치가 아니라 예시 이름이다 |
고교 기하 교과서는 내적을 '벡터의 내적'이라 부르고, 벡터를 , 크기를 로 쓴다. 스칼라배는 실수배, 사영은 정사영이라 한다.
figures/vector_geometry.py내적은 성분끼리 곱해 모두 더한 숫자 하나다
두 벡터의 내적은 같은 자리의 성분끼리 곱한 뒤 모두 더한 값이다. 결과는 벡터가 아니라 숫자 하나다.
은 를 1부터 까지 하나씩 바꾸며 뒤의 식을 모두 더하라는 기호(시그마)다. 시그마 기호는 시그마 (수열의 합) 페이지에서 따로 다룬다.
다. 3차원 한 쌍도 같은 방법으로 이다. 차원이 다른 두 벡터는 짝지을 성분이 모자라서 내적이 정의되지 않는다.
자기 자신과의 내적은 성분의 제곱을 모두 더한 것이라 식 (3)의 길이의 제곱이다. 이다. 라 이고, 도 3이다.
곱하는 순서를 바꿔도 로 같다. 한쪽을 배 하면 내적도 배가 된다. 와 의 내적은 으로 의 두 배다.
내적은 왜 두 길이와 코사인의 곱인가
사이각을 말할 때는 두 벡터가 모두 영벡터가 아니라고 한다.
내적은 두 길이의 곱에 사이각의 코사인을 곱한 값과 같다. 두 벡터가 나란하지 않을 때는 , , 가 이루는 삼각형의 변 길이를 식 (4)로 한 번, 코사인 법칙으로 한 번 계산해 맞대면 나온다(아래 접힌 유도).22 고교 기하 교과서는 식 (5)를 내적의 정의로 삼고, 식 (4)를 그 성분 계산으로 가르친다. 순서만 다르고 값은 같다.
코사인 는 반지름 1인 원 위에서 가로축으로부터 만큼 돈 점의 가로 좌표다. 가로축(눕힌 막대)과 를 이루도록 든 길이 1짜리 막대의 부호 있는 그림자와 같다. 각이 0°면 1, 90°면 0, 180°면 이고, 그 사이에서는 각이 커질수록 줄어든다(그림 2).
그림 1 아래쪽의 를 넣으면 다. 그래서 이다. 코사인 값에서 각을 되돌리는 역코사인으로 다. NumPy의 np.arccos는 각을 라디안(0.785)으로 돌려주니, 도로 보려면 np.degrees(np.arccos(x))를 쓴다.
식 (5)를 로 묶으면 직관의 그림자가 보인다. 는 를 방향 직선 위로 수직으로 내린 그림자에 방향의 부호를 붙인 성분이다. 각이 90°를 넘으면 이 값이 음수라, 그림자가 반대쪽에 진다.
식 (4)와 식 (5)는 왜 같은가 — 코사인 법칙
두 벡터의 끝을 잇는 변 의 길이를 두 가지로 계산한다. 성분으로 펼치면 식 (3)과 식 (4)에서 다음이 나온다.
두 벡터가 나란하지 않으면, 세 변이 , , 인 삼각형에 코사인 법칙을 쓰면 다음이 나온다.
두 식의 마지막 항을 맞대면 식 (5)다. 로 확인하면 이라 이고, 로 같다.
나란한 경우에는 ()로 쓴다. 내적은 이고 다. 이면 사이각이 0°, 이면 180°이므로 식 (5)는 이 경우에도 성립한다.
차원이 3을 넘으면 각을 그릴 수 없으니, 거꾸로 식 (5)로 각을 정한다. 코시-슈바르츠 부등식 덕분에 가 과 1 사이에 들어와 각이 하나로 정해진다(두 벡터가 영벡터가 아닐 때). 이 페이지의 두 쌍에서는 , 이다.
사영은 내적으로 구한 그림자다
사영의 방향을 정하는 는 영벡터가 아니어야 한다. 사영벡터의 길이는 음수가 될 수 없으므로 이고, 부호 있는 성분과 구별한다.
를 방향 직선 위로 수직으로 내린 그림자를 사영(정사영)이라 한다. 방향의 부호를 포함한 성분 에 방향의 길이 1짜리 벡터 를 곱한 것이라, 분모가 길이의 제곱이다.
여기서 라 두면 사영은 다. 남은 벡터와 의 내적은 다. 전개하면 이므로, 남은 벡터는 항상 사영 방향과 직교한다.
를 위로 내리면 배수가 라서 다. 그림 1 아래쪽의 굵은 화살표가 이것이다. 길이는 로, 와 같다.
남은 몫 는 와 내적이 이다. 사영은 벡터 하나를 '다른 벡터 방향의 몫'과 '그것과 직각인 몫'으로 쪼갠다. 그림 1 아래쪽의 점선과 작은 직각 표시가 그 두 번째 몫이다.
내적이 0이거나 음수면 무슨 뜻인가
영벡터가 아니면 길이가 양수라, 내적의 부호는 의 부호를 따른다. 사이각이 90°보다 작으면 양수, 90°면 0, 90°보다 크면 음수다(그림 2).
내적이 0인 두 벡터를 직교한다고 한다. 수직, 직각과 같은 말이다. 과 은 이라 직교한다.
와 는 정반대라 이다. 그래서 내적은 이다. 그림 2는 이 페이지의 다섯 쌍을 코사인 곡선 위에 찍은 것이다. 은 의 성분을 모두 반으로 줄인 벡터라 방향이 같고, 와 의 각 27.3°는 내적 8을 두 길이의 곱 로 나눈 이다.
figures/cosine_curve.py내적이 0이면 무슨 뜻이야?
내적이 0이면 두 벡터가 직교한다(서로 수직, 사이각 90°)는 뜻이다. 내적은 두 길이와 의 곱이라, 둘 다 영벡터가 아니면 이고, 0°에서 180° 사이에서 그런 각은 90°뿐이다. 과 이 그림 2의 90° 자리에 있다. 한쪽이 영벡터(성분이 모두 0)면 각은 정해지지 않지만 내적은 0이라, 관례상 모든 벡터와 직교한다고 본다.
코사인 유사도가 음수면 반대라는 뜻이야?
아니다. 코사인 유사도가 음수면 사이각이 90°보다 크다는 뜻이고, 정확히 반대 방향인 것은 일 때뿐이다. 와 가 이다(그림 2의 180°). 0은 반대가 아니라 직교(90°)다.
코사인 유사도는 왜 내적을 두 길이로 나누나
코사인 유사도는 내적을 두 길이의 곱으로 나눈 값이다(두 벡터 모두 영벡터가 아닐 때). 내적은 식 (5)대로 두 길이에도 비례해서, 나눠야 방향만 남는다. 내적이 양수인(사이각이 90°보다 작은) 벡터끼리는 방향이 같아도 짧으면 작고, 덜 맞아도 길면 크다. 검색어 와 방향이 똑같은 는 내적이 4.5인데, 덜 맞는 는 16이다.
그림 3은 검색어 벡터 와 후보 셋을 비교한다. 내적은 (), , () 순으로 4.5, 8, 16이다.
코사인 유사도로 재면 1등과 꼴찌가 바뀌어 가 1로 가장 크다. 와 는 0.889로 같다. 식 (7)이 내적 16을 두 길이의 곱 로 나눠, 늘어난 길이의 몫을 지우기 때문이다.
figures/dot_vs_cosine.py두 벡터를 먼저 자기 길이로 나눠 길이 1인 벡터(단위벡터)로 맞춰 두면(정규화) 내적이 곧 코사인 유사도다. 식 (7)의 분모가 1이 되기 때문이다. 예를 들어 은 길이가 1이다.
두 벡터가 모두 영벡터가 아닐 때, 내적은 두 길이와 코사인의 곱이라 길이에도 비례한다. 방향이 비슷한지는 두 길이로 나눈 코사인 유사도로 잰다.
코사인 유사도랑 내적 차이가 뭐야?
코사인 유사도는 내적을 두 길이의 곱으로 나눈 값이라(식 (7)), 길이는 빼고 방향만 잰다. 그래서 과 1 사이에 있고, 한 벡터를 양수배로 늘리거나 줄여도 값이 그대로다. 를 로 늘리면 내적은 8에서 16이 되지만 코사인 유사도는 0.889 그대로다. 두 벡터가 이미 길이 1이면 둘은 같은 값이다.
코사인 유사도랑 유클리드 거리는 뭐가 달라?
코사인 유사도는 방향만 재고, 유클리드 거리 는 길이의 차이까지 잰다. 에서 보면 와 는 코사인 유사도가 0.889로 같지만, 거리는 약 1.41과 3.61로 다르다. 두 벡터를 길이 1로 정규화하면 라, 가까운 순서와 코사인 유사도가 큰 순서가 같다.
벡터와 내적의 흔한 오해
- 내적의 결과도 벡터다 — 식 (4)는 성분끼리 곱한 를 다시 모두 더해 숫자 5 하나로 만든다. NumPy에서
a * b는 성분별 곱[3. 2.](벡터)이고, 내적은a @ b나np.dot(a, b)의5.0이다. - 내적이 크면 두 벡터가 가깝다 — 그림 3에서 내적이 가장 큰 (16)는 라 까지의 거리가 로 세 후보 중 가장 멀다. 방향이 똑같은 는 내적이 가장 작다(4.5).
- 화살표로 그릴 수 있어야 벡터다 — 식 (1)대로 순서 있는 숫자 목록이면 벡터라서, 그릴 수 없는 768차원 임베딩에도 2차원의 와 똑같이 식 (2)~(7)이 적용된다.
임베딩 검색은 내적과 코사인 유사도 중 무엇으로 재나
그 검색 모델이 학습 때 쓴 유사도로 잰다. 흔히 코사인 유사도이고, 정규화하지 않은 내적으로 학습한 모델은 내적 그대로 잰다.
AI 모델은 단어·문장·이미지를 수백에서 수천 차원의 임베딩 벡터로 바꿔 다룬다. 비슷한 문서를 찾는 검색은 질문 벡터와의 유사도가 큰 순서로 문서 벡터를 고르는 일이다. 벡터를 미리 정규화해 두면 내적만 계산해도 코사인 유사도와 같은 순서가 나온다.
정규화하지 않은 두 벡터의 내적을 유사도로 삼아 학습한 검색 모델도 있다(DPR, Karpukhin 외 2020). 그런 모델의 벡터를 정규화해 코사인으로 바꾸면 그림 3처럼 순위가 바뀔 수 있다.
벡터와 내적은 AI에서 어디에 쓰이나
트랜스포머의 어텐션은 질의 벡터 와 키 벡터 의 내적을 점수로 쓴다. 이 점수를 로 나누고 소프트맥스에 넣어 합이 1인 가중치로 바꾼다. 소프트맥스는 소프트맥스 페이지에서 다룬다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 질의, 키, 키 차원 | query, key, key dimension | 어텐션이 내적하는 두 벡터와 그 차원. 의 첨자는 성분 번호가 아니라 관례 표기다 |
는 어느 쌍의 점수든 같은 수로 나누는 것이라, 쌍마다 두 길이로 나누는 코사인 유사도와 다르다. 그래서 원래 트랜스포머(Vaswani 외)의 어텐션 점수에는 벡터의 길이가 그대로 남는다.
학습에서도 파라미터와 그래디언트는 벡터다. 경사하강법의 한 걸음은 그래디언트에 학습률을 곱해(스칼라배) 파라미터에서 빼는(덧셈) 식 (2)의 연산이다. 모멘텀의 속도도 지난 속도의 몇 배에 그래디언트를 더한 벡터다.
| 이 페이지 | NumPy · PyTorch · SciPy |
|---|---|
| 벡터 | 1차원 배열 np.array([3.0, 1.0]), torch.tensor([3.0, 1.0]). shape은 NumPy에서 (2,), PyTorch에서 torch.Size([2]) |
| , (식 (2)) | x + y, s * x |
| 성분별 곱 | x * y — 내적이 아니다. (x * y).sum()이 내적 |
| (식 (4)) | x @ y, np.dot(x, y), torch.dot(x, y) (torch.dot은 1차원 텐서 둘만 받는다) |
| (식 (3)) | np.linalg.norm(x), torch.linalg.vector_norm(x) — 기본값이 식 (3)의 2-노름 |
| (식 (7)) | x @ y / (np.linalg.norm(x) * np.linalg.norm(y)), torch.cosine_similarity(x1, x2, dim=1, eps=1e-8)(x1, x2는 성분이 아니라 비교할 두 텐서). dim 기본값이 1이라, 1차원 벡터 둘이면 dim=0(또는 dim=-1)을 준다 |
scipy.spatial.distance.cosine(x, y) — 이름과 달리 유사도가 아니라 흔히 '코사인 거리'라 부르는 를 돌려준다. 이 페이지의 거리 와 다른 양이고, 길이 1인 벡터끼리는 다 | |
| 정규화 | torch.nn.functional.normalize(x, dim=0) (기본값 p=2, dim=1) |
q @ k. 실제 모델은 점수 여러 개를 행렬 곱 한 번으로 계산한다(행렬 연산) |
np.dot이랑 @랑 * 는 뭐가 달라?
1차원 배열 둘에서 np.dot(a, b)와 a @ b는 같은 내적이고, a * b는 성분별 곱이다. , 면 앞의 둘은 5.0을 낸다. a * b는 벡터 (3, 2)를 내고, .sum()으로 모두 더해야 내적 5가 된다. 2차원 배열(행렬)에서는 @가 행렬 곱이다.
코드로 확인하기
기호를 누르면 수식과 코드에서 같은 것이 함께 표시된다. 출력 첫 줄에서 a * b가 내적이 아니라 성분별 곱이라는 것도 보인다.
import numpy as np
a = np.array([3.0, 1.0]) # 𝐚
b = np.array([1.0, 2.0]) # 𝐛
inner = np.sum(a * b) # 식 (4): 성분끼리 곱해(a * b) 모두 더한다
norm_a = np.sqrt(np.sum(a * a)) # 식 (3): ‖a‖ = √(a·a)
norm_b = np.sqrt(np.sum(b * b))
proj = inner / np.sum(a * a) * a # 식 (6): ‖a‖² = a·a. b 를 a 위로 내린 그림자
cos_phi = inner / (norm_a * norm_b) # 식 (7)
print("a * b =", a * b, " <- 성분별 곱. 아직 벡터다")
print("a·b =", inner, " a @ b =", a @ b, " np.dot(a, b) =", np.dot(a, b))
print(f"‖a‖ = {norm_a:.3f} ‖b‖ = {norm_b:.3f}")
print(f"cos φ = {cos_phi:.3f} φ = {np.degrees(np.arccos(cos_phi)):.1f}°")
print("사영 =", proj, " (b - 사영)·a =", (b - proj) @ a)
u = np.array([1.0, 2.0, 2.0]) # 𝐮 (3차원)
w = np.array([2.0, 1.0, 2.0]) # 𝐰
print("u·w =", u @ w, " cos φ =", round(u @ w / (np.linalg.norm(u) * np.linalg.norm(w)), 3))$ python dot_product.py
a * b = [3. 2.] <- 성분별 곱. 아직 벡터다
a·b = 5.0 a @ b = 5.0 np.dot(a, b) = 5.0
‖a‖ = 3.162 ‖b‖ = 2.236
cos φ = 0.707 φ = 45.0°
사영 = [1.5 0.5] (b - 사영)·a = 0.0
u·w = 8.0 cos φ = 0.889직접 해보기
- 와 의 내적과 두 길이, 를 구하라. 사이각은 대략 몇 도이고, (27.3°)와 비교하면 어느 쪽이 와 방향이 더 비슷한가?
- 은 와 직교하나? 와는 어떤가?
- 이번에는 를 위로 내린 사영을 식 (6)으로 구하라. 무엇이 나오고, 왜 그런가?
답
- 내적은 , 길이는 과 다. 그래서 이고, 각은 다. 의 27.3°보다 사이각이 작으니 가 와 방향이 더 비슷하다. 내적도 14로 의 8보다 크지만, 길이가 5로 더 길어서이기도 하다.
- 이라 직교한다. 라 와는 직교하지 않는다.
- 배수가 이라, 사영은 자신이다. 의 끝에서 방향 직선으로 내린 수선의 발이 마침 의 끝이라는 뜻이다. 실제로 남은 몫 은 와 내적이 이다.
더 읽기
- Deep Learning, 2장 Linear Algebra — Goodfellow·Bengio·Courville, 2016. 2.1절이 벡터를 숫자의 배열로 정의하고, 2.5절(노름)이 내적을 두 노름과 코사인의 곱으로 고쳐 쓰며, 2.6절이 내적 0을 직교로 정의한다. '벡터는 숫자를 순서대로 늘어놓은 것이다' §와 식 (5)가 기댄다.
- Introduction to Linear Algebra, 1장 Introduction to Vectors — Gilbert Strang, 2016(5판). MIT 18.06 강의의 교과서다. 1.1절이 벡터의 덧셈과 스칼라배를, 1.2절(Lengths and Dot Products)이 길이·내적·코사인 공식과 슈바르츠 부등식을 다룬다. 식 (2)~(5)와 접힌 유도가 기댄다.
- Introduction to Information Retrieval, 6.3.1 Dot products — Manning·Raghavan·Schütze, 2008. 문서를 벡터로 놓고, 문서 길이의 영향을 없애려고 코사인 유사도로 비교한다고 설명한다. '코사인 유사도는 왜 내적을 두 길이로 나누나'·'임베딩 검색은 …' §와 흔한 오해 §가 기댄다.
- Attention Is All You Need — Vaswani 외, 2017. 3.2.1절(Scaled Dot-Product Attention)이 질의와 키의 내적을 로 나눠 소프트맥스에 넣는 어텐션을 정의한다. '벡터와 내적은 AI에서 어디에 쓰이나' §가 기댄다.
- Dense Passage Retrieval for Open-Domain Question Answering — Karpukhin 외, 2020. EMNLP. 질문과 문단을 각각 벡터로 바꾸고, 정규화하지 않은 두 벡터의 내적을 유사도로 삼아 검색 모델을 학습한다. '임베딩 검색은 내적과 코사인 유사도 중 무엇으로 재나' §가 기댄다.
영상 노트
- 00:00 오프닝 질문 — "내적이 크면 두 벡터가 비슷한 걸까?"
- 00:40 식 (1)·(2) — 숫자 목록으로서의 벡터, 그림 1 위쪽의 덧셈과 2배
- 02:00 식 (4) 판서 — , 결과는 숫자 하나
- 03:20 식 (5)와 그림 1 아래쪽 — 사이각 45°, 그림자
- 05:00 그림 2 — 내적의 부호와 직교
- 06:10 그림 3과 식 (7) — 내적과 코사인 유사도로 1등과 꼴찌가 바뀐다, 검색은 어느 쪽으로 재나
- 07:30 코드랩 —
a * b와a @ b· 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 7, 그림 3, 코드랩 1)
- 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15 문서(cosine_similarity·vector_norm·normalize·dot) 확인, Wikidata Q181365, 시그마·소프트맥스 페이지 링크, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 영어판 번역
- 2026-11-05 · 받은 질문은 소프트맥스 페이지에만 남김 (홈 '질문에서 페이지로' 중복 정리)
- 2026-11-05 · 남은 질문 둘을 어텐션 페이지(예정, 고차원의 코사인 유사도)와 노름 페이지(예정, L1·최대 노름)로 넘김 (영어판도)
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-13 · 독자 패널 리뷰 반영 — 첫 화면에 AI 연결, 코사인 유사도 § 제목과 정의 문장, 교과서 표기 다리, 숫자를 만든 식, 질문 블록 하나 (에이전트 수정, 다시 검토 전)
- 2026-11-16 · 독립 검수 V2·V3 반영 — 요약의 비영벡터 조건, 평행한 경우 유도, 그림 1 모바일 판독성 보완
- 2026-11-16 · 고급 대수 연결 검수 — 정사영의 방향 조건·부호 있는 성분·길이와 잔차의 직교 이유 보완