투명한 고무판에 모눈을 그리고, 한가운데 점은 핀으로 고정한다. 오른쪽 한 칸과 위쪽 한 칸을 가리키는 두 화살표의 끝을 잡아 새 자리로 끌되, 모눈의 줄은 곧게, 간격은 고르게 지키며 늘이고 기울인다. 두 화살표가 간 자리만 적어 두면 판 위의 어느 점이 어디로 가는지 모두 알 수 있다.
여기서 고무판이 평면, 핀으로 고정한 점이 원점이다. 두 화살표는 기준 벡터 e1=(1,0), e2=(0,1)이다. 그 둘이 간 자리를 세로줄로 적은 표가 행렬이고, 판을 끌어 점을 옮기는 일이 행렬-벡터 곱이다.
판을 두 번 끈 결과를 한 번에 적은 표가 행렬 곱(행렬 곱셈)이다. 그 표의 칸 하나는 왼쪽 행렬의 가로줄 하나와 오른쪽 행렬의 세로줄 하나의 내적이고, 이 페이지의 주인공이다. 두 번 끌 때는 어느 쪽을 먼저 끄는지에 따라 결과가 달라진다(그림 3).
신경망의 선형층 하나는 입력 벡터에 가중치 행렬을 곱하는 계산이다. 그 곱이 내적 몇 번인지 세는 것이 이 페이지의 일이다.
이 페이지는 벡터와 내적의 예시 벡터를 그대로 쓴다. u,w를 가로로 쌓은 2×3 행렬 A와, a,b를 세로로 세운 2×2 행렬 M이다.
행렬은 숫자를 m행 n열로 늘어놓은 표다
행렬은 숫자를 가로줄 m개(행), 세로줄 n개(열)로 늘어놓은 표다. 이것을 m×n 행렬이라 하고, i행 j열의 숫자를 성분 Aij로 쓴다.
A=A11⋮Am1A12⋮Am2⋯⋯A1n⋮Amn∈Rm×n(1)
이 페이지의 숫자 예시에서 A는 1행이 u=(1,2,2), 2행이 w=(2,1,2)인 2×3 행렬 하나를 가리킨다.
A=(122122),A⊤=122212(2)
A12=2는 1행 2열, A22=1은 2행 2열의 성분이다. 덧셈은 벡터처럼 같은 자리끼리 해서, 크기가 같은 행렬끼리만 더할 수 있다. 스칼라배(교과서의 실수배)는 숫자 하나를 모든 성분에 곱한다. 예를 들어 A+A=2A=(244244)이다.
식 (2)의 오른쪽은 A의 전치(전치행렬) A⊤다. 행과 열을 맞바꿔 (A⊤)ij=Aji이고, 2×3이 3×2가 된다. A의 1행 (1,2,2)가 A⊤의 1열이 되었다.
벡터를 행렬과 곱할 때는 n×1 행렬, 곧 세로로 세운 열벡터로 본다. 그러면 내적 x⋅y는 1×n과 n×1의 곱 x⊤y로도 쓴다.11 교과서와 논문이 내적을 x⊤y로 쓰는 까닭이다. 결과는 1×1 행렬, 곧 숫자 하나다.
정의
기호
이름
원어
뜻
A,B,C
행렬
matrix
숫자를 m행 n열로 늘어놓은 표. 굵은 대문자로 쓴다. 예시 A는 식 (2)
Aij
성분
entry
i행 j열의 숫자
m×n, Rm×n
크기
shape
행 m개, 열 n개. NumPy·PyTorch의 shape이 (m, n)이다. Rm×n은 실수 성분인 m×n 행렬을 모두 모은 집합
A⊤
전치(전치행렬)
transpose
행과 열을 맞바꾼 n×m 행렬. (A⊤)ij=Aji
x, xj
열벡터, 성분
column vector
행렬과 곱할 때 벡터는 n×1 행렬로 본다
AB
행렬 곱
matrix product (matrix multiplication)
식 (5). 행렬 곱셈(행렬의 곱셈), 붙여서 행렬곱이라고도 쓴다. 이 페이지의 주인공
i,j,k
첨자
index
i는 행, j는 열 번호다. 식 (3)의 j와 식 (5)의 k는 더하면서 지나가는 첨자다
p
열 수
—
B가 n×p일 때의 열 개수
I
항등행렬(단위행렬)
identity matrix
대각선이 1, 나머지가 0인 정사각 행렬. Ix=x
e1,e2
기준 벡터
standard basis vectors
(1,0)과 (0,1). 표준 기저 벡터라고도 한다. 굵은 글자 + 첨자는 성분이 아니라 벡터의 번호다
M,S
예시 정사각 행렬
—
M은 1열이 a=(3,1), 2열이 b=(1,2). S는 가로 길이만 2배로 만드는 행렬
A⊙B
아다마르 곱
Hadamard product
같은 자리 성분끼리 곱한 행렬. 행렬 곱이 아니다
M−1
역행렬
inverse matrix
곱해서 I가 되는 행렬. 정사각 행렬 중 일부에만 있다
행렬-벡터 곱은 행마다 한 내적이다
Ax의 i번째 성분은 A의 i행과 x의 내적이다. m×n 행렬에 n차원 벡터를 곱하면 내적 m번으로 m차원 벡터가 나온다.
(Ax)i=j=1∑nAijxj(3)
Au의 1성분은 1행 u와의 내적 u⋅u=9다. 2성분은 2행 w와의 내적 w⋅u=8이다. 그래서 Au=(9,8)이고, 3차원 벡터가 2차원 벡터로 바뀌었다.
A의 열 수 3과 x의 차원이 같아야 곱할 수 있다. 행 하나와 x의 성분이 하나씩 짝지어져야 내적이 되기 때문이다.
행렬은 평면의 점을 어디로 옮기나 — 선형변환
같은 곱을 열로 읽으면, Ax는 A의 열들에 x1,x2,…를 곱해 더한 벡터다. 그래서 e1은 1열로, e2는 2열로 간다.
Mx=x1(31)+x2(12),M=(3112)(4)
M의 1열은 a=(3,1), 2열은 b=(1,2)다. 그림 1에서 e1은 a로, e2는 b로 가고, (1,1)은 a+b=(4,3)으로 간다. 행으로 읽어도 (3+1,1+2)=(4,3)으로 같다.22M은 행과 열을 바꿔도 같은 대칭 행렬이라 1행도 (3,1)이다. 1행이 아니라 1열로 간다는 것은 가로 길이만 2배로 만드는 S를 먼저 곱한 MS(아래 식 (7), 그림 3)에서 보인다. MSe1=(6,2)는 1열이고, 1행 (6,1)과 다르다.
그림 1 행렬 M이 평면을 옮기는 모습. 왼쪽은 옮기기 전의 모눈과 단위 정사각형, 오른쪽은 M으로 옮긴 뒤다. e1=(1,0)은 1열 a=(3,1)로, e2=(0,1)은 2열 b=(1,2)로, (1,1)은 (4,3)으로 간다. 정사각형은 a와 b가 만드는 평행사변형이 된다. figures/grid_transform.py
모눈의 줄이 곧고 간격이 고른 채로 남는 것은, 식 (4)가 성분에 숫자를 곱하고 더하기만 하기 때문이다. 이렇게 행렬을 곱해 점을 옮기는 규칙을 선형변환(교과서의 일차변환)이라 한다. 아무것도 옮기지 않는 행렬은 대각선이 1이고 나머지가 0인 항등행렬(단위행렬) I다. 어떤 x를 넣어도 Ix=x이다.
대각선 밖이 모두 0인 행렬(대각행렬)은 각 축의 성분에 대각선의 수를 따로 곱한다. 아래의 S는 가로 성분에 2, 세로 성분에 1을 곱한다.33경사하강법 페이지의 손실 21(x2+10y2)을 두 번 미분한 값을 모은 행렬(헤세 행렬)도 대각선이 1과 10인 대각행렬이다.
행렬 곱셈은 어떻게 계산하나 — 내적을 m×p번
행렬 곱셈 AB의 (i,j) 성분은 A의 i행과 B의 j열의 내적이다. m×n과 n×p를 곱하면 내적 m×p번으로 m×p 행렬이 나온다. 2×3과 3×2면 내적 4번이다.
(AB)ij=k=1∑nAikBkj(5)(m×n)(n×p)=m×p(6)
식 (6)의 안쪽 두 n이 같아야 i행과 j열의 성분이 하나씩 짝지어진다. 바깥쪽 m과 p가 결과의 크기다.
행과 열을 짝짓는 까닭은, 그래야 B로 옮긴 뒤 A로 옮긴 결과가 (AB)x=A(Bx)로 곱 하나에 담기기 때문이다. 그러려면 AB의 j열이 A를 B의 j열에 곱한 벡터여야 하고, 식 (3)대로 그 i번째 성분이 i행과 j열의 내적이다.
B 자리에 A⊤(3×2)를 넣으면 크기는 (2×3)(3×2)=2×2다. 1행 2열 성분은 A의 1행 (1,2,2)와 A⊤의 2열 (2,1,2)의 내적 2+2+4=8이다(그림 2).
그림 2 식 (5)로 AA⊤를 구하는 모습. A(2×3)의 1행과 A⊤(3×2)의 2열을 짝지어 내적하면 결과(2×2)의 1행 2열 성분 8이 된다. 나머지 세 성분도 행 하나와 열 하나의 내적이다. figures/matmul_grid.py
네 성분은 u⋅u=9, u⋅w=8, w⋅u=8, w⋅w=9다. 실제로 1열 (9,8)은 A를 A⊤의 1열 u에 곱한 Au다. AA⊤는 A의 행을 둘씩 짝지은 내적을 빠짐없이 모은 표다. 내적 4번에 곱셈이 3번씩 들어 곱셈은 12번이고, 식 (5)대로 계산하면 일반적으로 m×n×p번이다.
핵심
m×n 행렬 A와 n×p 행렬 B의 행렬 곱셈 AB는, A의 행과 B의 열을 짝지은 내적 m×p개를 표로 모은 것이다.
Q. 행렬 곱셈이 안 되는 경우는 언제야?
행렬 곱셈이 안 되는 것은 앞 행렬의 열 수와 뒤 행렬의 행 수가 다를 때다(식 (6)의 안쪽 n). A(2×3)끼리 AA는 3과 2가 달라 정의되지 않고, AA⊤는 3과 3이 같아 2×2가 된다. 행 하나와 열 하나의 성분 개수가 같아야 내적이 되기 때문이다.
Q. matmul shape 오류 메시지는 어떻게 읽어?
matmul shape 오류는 앞 행렬의 마지막 크기와 뒤 행렬의 끝에서 둘째 크기(2차원이면 첫 크기, 식 (6)의 안쪽 n)를 비교해 읽는다. NumPy에서 A @ A는 ValueError: matmul: Input operand 1 has a mismatch in its core dimension 0, with gufunc signature (n?,k),(k,m?)->(n?,m?) (size 2 is different from 3)을 낸다. 뒤 행렬(operand 1)의 첫 크기 2가 앞 행렬의 열 수 3과 다르다는 뜻이다. PyTorch는 같은 경우 mat1 and mat2 shapes cannot be multiplied (2x3 and 2x3)처럼 두 크기를 보여 주니, 가운데 두 숫자(3과 2)를 맞춘다.
행렬 곱셈은 순서를 바꾸면 왜 결과가 달라지나
AB와 BA는 짝짓는 행과 열이 달라서, 대개 다른 행렬이다. 크기부터 다를 수 있다. AA⊤는 2×2이지만 A⊤A는 3×3이다.
크기가 같은 정사각 행렬끼리도 순서가 중요하다. 가로 길이만 2배로 만드는 S=(2001)와 M을 곱하면 다음과 같다.
MS=(6212)=SM=(6122)(7)
MS의 1행 1열은 M의 1행 (3,1)과 S의 1열 (2,0)의 내적 6+0=6이다. MSx=M(Sx)라서, MS는 먼저 가로로 늘인 뒤 M으로 옮긴다. SM은 M으로 옮긴 뒤 가로로 늘인다. 그림 3에서 e1은 MS로 (6,2), SM으로 (6,1)에 간다.
그림 3 같은 단위 정사각형(점선)을 MS(왼쪽)와 SM(오른쪽)으로 옮긴 모양. e1은 (6,2)와 (6,1)로, e2는 (1,2)와 (2,2)로 가서 서로 다른 평행사변형이 된다. figures/order_matters.py
Q. 행렬 곱셈은 교환법칙이 성립해?
행렬 곱셈의 교환법칙은 일반적으로 성립하지 않는다. M=(3112), S=(2001)이면 MS의 1행 2열은 1, SM의 1행 2열은 2다(식 (7)). 항등행렬은 같은 크기의 정사각 행렬과 순서를 바꿔도 되지만, 그런 짝은 예외다. 대신 크기가 맞으면 묶는 순서는 바꿔도 되어(결합법칙) (AB)C=A(BC)다.
Q. 곱의 전치행렬 (AB)ᵀ는 왜 BᵀAᵀ로 순서가 뒤집혀?
두 행렬의 곱을 전치하면 (AB)⊤=B⊤A⊤로 곱하는 순서가 뒤집힌다. 전치가 행과 열을 맞바꿔서, A의 행과 B의 열의 내적이 B⊤의 행과 A⊤의 열의 내적이 되기 때문이다. 식 (7)의 M과 S는 전치해도 그대로라, MS를 전치한 (6122)가 곧 SM이다.
행렬 곱셈의 흔한 오해
행렬 곱도 순서를 바꿔도 된다(AB = BA) — 식 (7)이 반례다. 같은 두 행렬을 곱한 MS와 SM이 서로 다르다(그림 3, 위의 교환법칙 질문).
행렬 곱은 같은 자리끼리 곱하는 것이다 — 같은 자리끼리 곱하는 것은 아다마르 곱 A⊙B이고, 수학에서는 크기가 같아야 한다. A⊙A=(144144)는 되지만 행렬 곱 AA는 3과 2가 달라 정의되지 않는다. NumPy에서 A * A가 앞의 것, A @ A는 ValueError다.
전치가 곧 역행렬이다 — 역행렬은 곱해서 I가 되는 행렬인데, M⊤=M을 곱한 MM⊤=(10555)은 I가 아니다. I가 되는 것은 M−1=51(2−1−13)이고(MM−1의 1행 1열이 (3×2−1×1)/5=1), 둘이 같은 것은 열끼리 직교하고 열마다 길이가 1인 정사각 행렬(직교 행렬)일 때뿐이다. M−1은 대각선의 3과 2를 맞바꾸고 나머지 둘의 부호를 바꿔 3×2−1×1=5로 나눈 것이다(2×2 행렬의 역행렬 공식).
행렬 곱셈은 AI에서 어디에 쓰이나
신경망의 순전파(forward)에서 선형층과 어텐션의 계산은 행렬 곱이다. 선형층(완전연결층)은 입력 x에 가중치 행렬 W를 곱하고 편향 c를 더한다. W의 각 행이 출력 하나를 만드는 가중치 벡터라, 출력 하나하나가 그 행과 x의 내적이다.
정의
기호
이름
원어
뜻
W,c
가중치 행렬, 편향
weight, bias
선형층(식 (8)). 문헌은 편향을 흔히 b로 쓰지만, 이 사이트에서 b는 예시 벡터라 c로 쓴다
X,Y, N
배치
batch
샘플 N개의 입력·출력을 행으로 쌓은 행렬. 사이트 규약의 미니배치 크기 B는 굵은 행렬 B와 헷갈려 이 페이지에서는 N으로 쓴다
1
1벡터
ones vector
성분이 모두 1인 N×1 열벡터. 1c⊤는 모든 행이 c⊤인 행렬
Q,K, dk
질의 행렬, 키 행렬, 키 차원
query, key, key dimension
어텐션. 행이 질의 벡터 qi, 키 벡터 kj다(굵은 글자의 첨자는 벡터 번호). dk는 키 벡터의 차원(관례 표기)
y=Wx+c,Y=XW⊤+1c⊤(8)
W=A, x=(2,−2,1)이면 Wx=(0,4)다. 첫 성분이 0인 것은 (2,−2,1)이 u와 직교하기 때문이다(벡터와 내적의 직접 해보기 2). c=(1,−1)을 더하면 y=(1,3)이다.
샘플 N개를 한 번에 넣을 때는 샘플을 행으로 쌓은 배치 X(N×3)를 쓴다. 그러면 식 (8)의 오른쪽처럼 W를 전치해 오른쪽에 곱하고, XW⊤의 i행이 i번째 샘플의 Wx가 된다. 샘플을 행으로 눕히면 (Wx)⊤=x⊤W⊤이기 때문이다(곱을 전치하면 순서가 뒤집힌다).
1c⊤는 모든 행이 c⊤인 행렬이라, +1c⊤는 모든 행에 c⊤를 더한다. 코드에서는 크기 (2,)인 c를 그냥 더하면 행마다 더해진다(브로드캐스팅).
X의 두 행이 (2,−2,1)과 u=(1,2,2)면 XW⊤=(0948)이고, c를 더한 Y는 (11037)이다. 2행 (9,8)은 Au와 같다.
분류 모델의 마지막 선형층이면 이 출력 y가 소프트맥스에 들어가는 로짓이다(그 페이지는 로짓을 z, 정답을 y로 쓴다).
이 페이지
NumPy · PyTorch
m×n
A.shape — 예시 A는 (2, 3)
A⊤ (2차원)
NumPy·PyTorch 모두 A.T. NumPy의 A.transpose(0, 1)은 2차원에서 축 순서를 그대로 두라는 뜻이라 전치가 아니다
배치의 전치 (3차원 이상)
마지막 두 축만 바꾼다. A.mT(NumPy 2.0 이상·PyTorch), NumPy A.swapaxes(-2, -1), PyTorch A.transpose(-2, -1). NumPy .T는 모든 축을 뒤집어 (5, 6, 3)이 (3, 6, 5)가 된다. PyTorch의 .T도 2차원이 아닌 텐서에서는 폐기 예정(deprecated)이다
AB (식 (5))
A @ B, np.matmul(A, B), torch.matmul(A, B)
Ax (식 (3))
A @ x — x가 1차원 (3,)이면 결과도 1차원 (2,)
A⊙B
A * B — 행렬 곱이 아니다
I
np.eye(2), torch.eye(2)
W
torch.nn.Linear(in_features=3, out_features=2)의 weight. shape은 (2, 3), 곧 (출력, 입력)
c
같은 층의 bias. shape (2,)
식 (8) 오른쪽
layer(X) — X가 (N, 3)이면 출력은 (N, 2). 문서는 같은 식을 y=xA⊤+b로 적는다(문서의 A가 이 페이지의 W, b가 c)
nn.Linear의 weight가 선형층 y=Wx+c의 가중치 행렬 W를 그대로 저장하기 때문이다(식 (8)). Wx에서 출력 하나가 W의 행 하나와 입력의 내적이라, 행 수가 출력 수, 열 수가 입력 수다. nn.Linear(3, 2)의 weight는 (2, 3)이고, 배치 X(N×3)에는 전치한 weight.T(3×2)가 곱해져 X @ weight.T가 N×2다. Keras의 Dense는 반대로 kernel을 (입력, 출력)으로 두고 x @ kernel을 계산해서, 두 프레임워크 사이에 가중치를 옮길 때는 전치한다.
어텐션의 QKᵀ는 왜 K를 전치하나
Q와 K는 둘 다 질의 벡터·키 벡터를 행으로 쌓은 행렬이라, K를 전치해 키를 열로 세워야 식 (5)가 질의 qi와 키 kj를 짝지어 내적하기 때문이다. 그래서 QK⊤ 한 번으로 모든 질의와 키의 점수 표가 나오고, (i,j) 성분이 qi⋅kj다.
Q=K=A라면 점수는 AA⊤=(9889)이다. 이 예에서 전치하지 않은 QK는 (2×3)(2×3)이라 곱할 수도 없다.44 질의 수와 dk가 같으면 QK도 곱해져서 오류 없이 틀린 점수가 나온다. Q=(1101), K=(1324)이면 QK⊤=(1337)인데 QK=(1426)이다. 이 점수를 dk로 나눠 소프트맥스에 넣는 것은 소프트맥스 페이지에서 다룬다.
코드로 확인하기
식 (5)를 반복문으로 그대로 옮기고, @의 결과와 같은지 본다. 기호를 누르면 수식과 코드에서 같은 첨자가 함께 표시된다. 안쪽 첨자 k가 A의 열과 B의 행을 동시에 훑는다.
수식
(AB)ij=k=1∑nAikBkj(5)
코드 figures/matmul.py
import numpy as npA = np.array([[1.0, 2.0, 2.0], # 1행 = u [2.0, 1.0, 2.0]]) # 2행 = wB = A.T # 식 (2) 의 전치: 3×2m, n = A.shapep = B.shape[1]prod= np.zeros((m, p)) # 식 (6): (m×n)(n×p) = m×pforiin range(m): forjin range(p):prod[i, j] = sum(A[i, k] * B[k, j] forkin range(n)) # 식 (5)print("A", A.shape, "@ B", B.shape, "->", prod.shape)print("반복문으로:\n", prod)print("A @ B 로:\n", A @ B)print("B @ A 의 shape:", (B @ A).shape)print("A @ u =", A @ np.array([1.0, 2.0, 2.0])) # 식 (3)
$ python matmul.py
A (2, 3) @ B (3, 2) -> (2, 2)
반복문으로:
[[9. 8.]
[8. 9.]]
A @ B 로:
[[9. 8.]
[8. 9.]]
B @ A 의 shape: (3, 3)
A @ u = [9. 8.]
직접 해보기
A⊤A의 3행 3열 성분을 식 (5)로 구하라. 이 값은 A의 어느 열의 길이와 어떤 관계인가?
M에 (1,−1)을 곱하면 어디로 가나? a와 b로 나타내 보라.
크기 4×3인 배치 X를 nn.Linear(3, 2)에 넣으면 출력의 shape은 무엇인가? X @ layer.weight는 왜 오류가 나나?
답
A의 3열 (2,2)와 자기 자신의 내적이라 2×2+2×2=8이다. 3열의 길이 8의 제곱이다. A⊤A의 대각선은 열 길이의 제곱이다.
식 (4)에서 1×(3,1)+(−1)×(1,2)=(2,−1), 곧 a−b다. 행으로 읽어도 (3−1,1−2)=(2,−1)이다.
식 (8)의 XW⊤가 (4×3)(3×2)라 출력은 (4, 2)다. layer.weight는 (2, 3)이라 X @ layer.weight는 (4×3)(2×3), 안쪽 3과 2가 달라 곱할 수 없다.
더 읽기
Deep Learning, 2장 Linear Algebra — Goodfellow·Bengio·Courville, 2016. 2.2절이 행렬 곱을 식 (5)로 정의하고, 교환법칙이 성립하지 않는다는 것과 아다마르 곱 A ⊙ B를 따로 적는다. 2.3절이 항등행렬과 역행렬을 다룬다. '행렬 곱셈은 어떻게 계산하나 — 내적을 m×p번' §와 흔한 오해 §가 기댄다.
MIT 18.06 Linear Algebra, Spring 2010 — Gilbert Strang, MIT OpenCourseWare, 2010. 3강(Multiplication and inverse matrices)이 행렬 곱을 행·열·열 조합으로 읽는 법을 보인다. 교과서 Introduction to Linear Algebra 2.4절(Rules for Matrix Operations)과 짝이다. '행렬-벡터 곱은 행마다 한 내적이다'와 '행렬은 평면의 점을 어디로 옮기나 — 선형변환' §가 기댄다.
numpy.matmul — NumPy 공식 문서. 시그니처 (n,k),(k,m)->(n,m)과, 앞 배열의 마지막 크기가 뒤 배열의 끝에서 둘째 크기와 다르면 ValueError를 낸다는 것을 적는다. 'matmul shape 오류' 질문이 기댄다.