선형대수행렬 연산#005

행렬 연산

Matrix Operations

행렬 곱셈 AB의 (i, j) 성분은 A의 i행과 B의 j열의 내적이다. 2×3 행렬과 3×2 행렬을 곱하면 내적 4번으로 2×2가 되고, 순서를 바꾸면 3×3이라 크기부터 다르다. 곱할 수 없는 경우, 전치행렬, 신경망의 선형층 Wx + c까지 숫자로 확인한다.

주인공 기호
AB
읽는 시간
약 12분
선수 개념
벡터와 내적

직관 — 모눈 그린 고무판 끌기

직관

투명한 고무판에 모눈을 그리고, 한가운데 점은 핀으로 고정한다. 오른쪽 한 칸과 위쪽 한 칸을 가리키는 두 화살표의 끝을 잡아 새 자리로 끌되, 모눈의 줄은 곧게, 간격은 고르게 지키며 늘이고 기울인다. 두 화살표가 간 자리만 적어 두면 판 위의 어느 점이 어디로 가는지 모두 알 수 있다.

여기서 고무판이 평면, 핀으로 고정한 점이 원점이다. 두 화살표는 기준 벡터 e1=(1,0)\mathbf{e}_1 = (1, 0), e2=(0,1)\mathbf{e}_2 = (0, 1)이다. 그 둘이 간 자리를 세로줄로 적은 표가 행렬이고, 판을 끌어 점을 옮기는 일이 행렬-벡터 곱이다.

판을 두 번 끈 결과를 한 번에 적은 표가 행렬 곱(행렬 곱셈)이다. 그 표의 칸 하나는 왼쪽 행렬의 가로줄 하나와 오른쪽 행렬의 세로줄 하나의 내적이고, 이 페이지의 주인공이다. 두 번 끌 때는 어느 쪽을 먼저 끄는지에 따라 결과가 달라진다(그림 3).

신경망의 선형층 하나는 입력 벡터에 가중치 행렬을 곱하는 계산이다. 그 곱이 내적 몇 번인지 세는 것이 이 페이지의 일이다.

이 페이지는 벡터와 내적의 예시 벡터를 그대로 쓴다. u,w\mathbf{u}, \mathbf{w}를 가로로 쌓은 2×32 \times 3 행렬 A\mathbf{A}와, a,b\mathbf{a}, \mathbf{b}를 세로로 세운 2×22 \times 2 행렬 M\mathbf{M}이다.

행렬은 숫자를 m행 n열로 늘어놓은 표다

행렬은 숫자를 가로줄 mm개(행), 세로줄 nn개(열)로 늘어놓은 표다. 이것을 m×nm \times n 행렬이라 하고, ii행 jj열의 숫자를 성분 AijA_{ij}로 쓴다.

A=(A11A12⋯A1n⋮⋮⋮Am1Am2⋯Amn)∈Rm×n(1)\mathbf{A} = \begin{pmatrix} A_{11} & A_{12} & \cdots & A_{1n} \\ \vdots & \vdots & & \vdots \\ A_{m1} & A_{m2} & \cdots & A_{mn} \end{pmatrix} \in \mathbb{R}^{m \times n} \tag{1}

이 페이지의 숫자 예시에서 A\mathbf{A}는 1행이 u=(1,2,2)\mathbf{u} = (1, 2, 2), 2행이 w=(2,1,2)\mathbf{w} = (2, 1, 2)인 2×32 \times 3 행렬 하나를 가리킨다.

A=(122212),A⊤=(122122)(2)\mathbf{A} = \begin{pmatrix} 1 & 2 & 2 \\ 2 & 1 & 2 \end{pmatrix}, \qquad \mathbf{A}^\top = \begin{pmatrix} 1 & 2 \\ 2 & 1 \\ 2 & 2 \end{pmatrix} \tag{2}

A12=2A_{12} = 2는 1행 2열, A22=1A_{22} = 1은 2행 2열의 성분이다. 덧셈은 벡터처럼 같은 자리끼리 해서, 크기가 같은 행렬끼리만 더할 수 있다. 스칼라배(교과서의 실수배)는 숫자 하나를 모든 성분에 곱한다. 예를 들어 A+A=2A=(244424)\mathbf{A} + \mathbf{A} = 2\mathbf{A} = \left(\begin{smallmatrix} 2 & 4 & 4 \\ 4 & 2 & 4 \end{smallmatrix}\right)이다.

식 (2)의 오른쪽은 A\mathbf{A}의 전치(전치행렬) A⊤\mathbf{A}^\top다. 행과 열을 맞바꿔 (A⊤)ij=Aji(\mathbf{A}^\top)_{ij} = A_{ji}이고, 2×32 \times 3이 3×23 \times 2가 된다. A\mathbf{A}의 1행 (1,2,2)(1, 2, 2)가 A⊤\mathbf{A}^\top의 1열이 되었다.

벡터를 행렬과 곱할 때는 n×1n \times 1 행렬, 곧 세로로 세운 열벡터로 본다. 그러면 내적 x⋅y\mathbf{x} \cdot \mathbf{y}는 1×n1 \times n과 n×1n \times 1의 곱 x⊤y\mathbf{x}^\top \mathbf{y}로도 쓴다.11 교과서와 논문이 내적을 x⊤y\mathbf{x}^\top \mathbf{y}로 쓰는 까닭이다. 결과는 1×11 \times 1 행렬, 곧 숫자 하나다.

정의
기호이름원어뜻
A,B,C\mathbf{A}, \mathbf{B}, \mathbf{C}행렬matrix숫자를 mm행 nn열로 늘어놓은 표. 굵은 대문자로 쓴다. 예시 A\mathbf{A}는 식 (2)
AijA_{ij}성분entryii행 jj열의 숫자
m×nm \times n, Rm×n\mathbb{R}^{m \times n}크기shape행 mm개, 열 nn개. NumPy·PyTorch의 shape이 (m, n)이다. Rm×n\mathbb{R}^{m \times n}은 실수 성분인 m×nm \times n 행렬을 모두 모은 집합
A⊤\mathbf{A}^\top전치(전치행렬)transpose행과 열을 맞바꾼 n×mn \times m 행렬. (A⊤)ij=Aji(\mathbf{A}^\top)_{ij} = A_{ji}
x\mathbf{x}, xjx_j열벡터, 성분column vector행렬과 곱할 때 벡터는 n×1n \times 1 행렬로 본다
AB\mathbf{A}\mathbf{B}행렬 곱matrix product (matrix multiplication)식 (5). 행렬 곱셈(행렬의 곱셈), 붙여서 행렬곱이라고도 쓴다. 이 페이지의 주인공
i,j,ki, j, k첨자indexii는 행, jj는 열 번호다. 식 (3)의 jj와 식 (5)의 kk는 더하면서 지나가는 첨자다
pp열 수—B\mathbf{B}가 n×pn \times p일 때의 열 개수
I\mathbf{I}항등행렬(단위행렬)identity matrix대각선이 1, 나머지가 0인 정사각 행렬. Ix=x\mathbf{I}\mathbf{x} = \mathbf{x}
e1,e2\mathbf{e}_1, \mathbf{e}_2기준 벡터standard basis vectors(1,0)(1, 0)과 (0,1)(0, 1). 표준 기저 벡터라고도 한다. 굵은 글자 + 첨자는 성분이 아니라 벡터의 번호다
M,S\mathbf{M}, \mathbf{S}예시 정사각 행렬—M\mathbf{M}은 1열이 a=(3,1)\mathbf{a} = (3, 1), 2열이 b=(1,2)\mathbf{b} = (1, 2). S\mathbf{S}는 가로 길이만 2배로 만드는 행렬
A⊙B\mathbf{A} \odot \mathbf{B}아다마르 곱Hadamard product같은 자리 성분끼리 곱한 행렬. 행렬 곱이 아니다
M−1\mathbf{M}^{-1}역행렬inverse matrix곱해서 I\mathbf{I}가 되는 행렬. 정사각 행렬 중 일부에만 있다

행렬-벡터 곱은 행마다 한 내적이다

Ax\mathbf{A}\mathbf{x}의 ii번째 성분은 A\mathbf{A}의 ii행과 x\mathbf{x}의 내적이다. m×nm \times n 행렬에 nn차원 벡터를 곱하면 내적 mm번으로 mm차원 벡터가 나온다.

(Ax)i=∑j=1nAij xj(3)(\mathbf{A}\mathbf{x})_i = \sum_{j=1}^{n} A_{ij}\, x_j \tag{3}

Au\mathbf{A}\mathbf{u}의 1성분은 1행 u\mathbf{u}와의 내적 u⋅u=9\mathbf{u} \cdot \mathbf{u} = 9다. 2성분은 2행 w\mathbf{w}와의 내적 w⋅u=8\mathbf{w} \cdot \mathbf{u} = 8이다. 그래서 Au=(9,8)\mathbf{A}\mathbf{u} = (9, 8)이고, 3차원 벡터가 2차원 벡터로 바뀌었다.

A\mathbf{A}의 열 수 3과 x\mathbf{x}의 차원이 같아야 곱할 수 있다. 행 하나와 x\mathbf{x}의 성분이 하나씩 짝지어져야 내적이 되기 때문이다.

행렬은 평면의 점을 어디로 옮기나 — 선형변환

같은 곱을 열로 읽으면, Ax\mathbf{A}\mathbf{x}는 A\mathbf{A}의 열들에 x1,x2,…x_1, x_2, \dots를 곱해 더한 벡터다. 그래서 e1\mathbf{e}_1은 1열로, e2\mathbf{e}_2는 2열로 간다.

Mx=x1(31)+x2(12),M=(3112)(4)\mathbf{M}\mathbf{x} = x_1 \begin{pmatrix} 3 \\ 1 \end{pmatrix} + x_2 \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \qquad \mathbf{M} = \begin{pmatrix} 3 & 1 \\ 1 & 2 \end{pmatrix} \tag{4}

M\mathbf{M}의 1열은 a=(3,1)\mathbf{a} = (3, 1), 2열은 b=(1,2)\mathbf{b} = (1, 2)다. 그림 1에서 e1\mathbf{e}_1은 a\mathbf{a}로, e2\mathbf{e}_2는 b\mathbf{b}로 가고, (1,1)(1, 1)은 a+b=(4,3)\mathbf{a} + \mathbf{b} = (4, 3)으로 간다. 행으로 읽어도 (3+1, 1+2)=(4,3)(3 + 1,\ 1 + 2) = (4, 3)으로 같다.22 M\mathbf{M}은 행과 열을 바꿔도 같은 대칭 행렬이라 1행도 (3,1)(3, 1)이다. 1행이 아니라 1열로 간다는 것은 가로 길이만 2배로 만드는 S\mathbf{S}를 먼저 곱한 MS\mathbf{M}\mathbf{S}(아래 식 (7), 그림 3)에서 보인다. MSe1=(6,2)\mathbf{M}\mathbf{S}\mathbf{e}_1 = (6, 2)는 1열이고, 1행 (6,1)(6, 1)과 다르다.

행렬 M이 평면을 옮기는 모습. 왼쪽은 옮기기 전의 모눈과 단위 정사각형, 오른쪽은 M으로 옮긴 뒤다. e_1 = (1, 0)은 1열 a = (3, 1)로, e_2 = (0, 1)은 2열 b = (1, 2)로, (1, 1)은 (4, 3)으로 간다. 정사각형은 a와 b가 만드는 평행사변형이 된다.
그림 1 행렬 M\mathbf{M}이 평면을 옮기는 모습. 왼쪽은 옮기기 전의 모눈과 단위 정사각형, 오른쪽은 M\mathbf{M}으로 옮긴 뒤다. e1=(1, 0)\mathbf{e}_1 = (1,\ 0)은 1열 a=(3, 1)\mathbf{a} = (3,\ 1)로, e2=(0, 1)\mathbf{e}_2 = (0,\ 1)은 2열 b=(1, 2)\mathbf{b} = (1,\ 2)로, (1, 1)(1,\ 1)은 (4, 3)(4,\ 3)으로 간다. 정사각형은 a\mathbf{a}와 b\mathbf{b}가 만드는 평행사변형이 된다. figures/grid_transform.py

모눈의 줄이 곧고 간격이 고른 채로 남는 것은, 식 (4)가 성분에 숫자를 곱하고 더하기만 하기 때문이다. 이렇게 행렬을 곱해 점을 옮기는 규칙을 선형변환(교과서의 일차변환)이라 한다. 아무것도 옮기지 않는 행렬은 대각선이 1이고 나머지가 0인 항등행렬(단위행렬) I\mathbf{I}다. 어떤 x\mathbf{x}를 넣어도 Ix=x\mathbf{I}\mathbf{x} = \mathbf{x}이다.

대각선 밖이 모두 0인 행렬(대각행렬)은 각 축의 성분에 대각선의 수를 따로 곱한다. 아래의 S\mathbf{S}는 가로 성분에 2, 세로 성분에 1을 곱한다.33 경사하강법 페이지의 손실 12(x2+10y2)\tfrac{1}{2}(x^2 + 10y^2)을 두 번 미분한 값을 모은 행렬(헤세 행렬)도 대각선이 1과 10인 대각행렬이다.

행렬 곱셈은 어떻게 계산하나 — 내적을 m×p번

행렬 곱셈 AB\mathbf{A}\mathbf{B}의 (i,j)(i, j) 성분은 A\mathbf{A}의 ii행과 B\mathbf{B}의 jj열의 내적이다. m×nm \times n과 n×pn \times p를 곱하면 내적 m×pm \times p번으로 m×pm \times p 행렬이 나온다. 2×32 \times 3과 3×23 \times 2면 내적 4번이다.

(AB)ij=∑k=1nAik Bkj(5)(\mathbf{A}\mathbf{B})_{ij} = \sum_{k=1}^{n} A_{ik}\, B_{kj} \tag{5} (m×n) (n×p)=m×p(6)(m \times n)\,(n \times p) = m \times p \tag{6}

식 (6)의 안쪽 두 nn이 같아야 ii행과 jj열의 성분이 하나씩 짝지어진다. 바깥쪽 mm과 pp가 결과의 크기다.

행과 열을 짝짓는 까닭은, 그래야 B\mathbf{B}로 옮긴 뒤 A\mathbf{A}로 옮긴 결과가 (AB)x=A(Bx)(\mathbf{A}\mathbf{B})\mathbf{x} = \mathbf{A}(\mathbf{B}\mathbf{x})로 곱 하나에 담기기 때문이다. 그러려면 AB\mathbf{A}\mathbf{B}의 jj열이 A\mathbf{A}를 B\mathbf{B}의 jj열에 곱한 벡터여야 하고, 식 (3)대로 그 ii번째 성분이 ii행과 jj열의 내적이다.

B\mathbf{B} 자리에 A⊤\mathbf{A}^\top(3×23 \times 2)를 넣으면 크기는 (2×3)(3×2)=2×2(2 \times 3)(3 \times 2) = 2 \times 2다. 1행 2열 성분은 A\mathbf{A}의 1행 (1,2,2)(1, 2, 2)와 A⊤\mathbf{A}^\top의 2열 (2,1,2)(2, 1, 2)의 내적 2+2+4=82 + 2 + 4 = 8이다(그림 2).

식 (5)로 AA^ᵀ를 구하는 모습. A(2 × 3)의 1행과 A^ᵀ(3 × 2)의 2열을 짝지어 내적하면 결과(2 × 2)의 1행 2열 성분 8이 된다. 나머지 세 성분도 행 하나와 열 하나의 내적이다.
그림 2 식 (5)로 AA⊤\mathbf{A}\mathbf{A}^\top를 구하는 모습. A\mathbf{A}(2×32 \times 3)의 1행과 A⊤\mathbf{A}^\top(3×23 \times 2)의 2열을 짝지어 내적하면 결과(2×22 \times 2)의 1행 2열 성분 8이 된다. 나머지 세 성분도 행 하나와 열 하나의 내적이다. figures/matmul_grid.py

네 성분은 u⋅u=9\mathbf{u} \cdot \mathbf{u} = 9, u⋅w=8\mathbf{u} \cdot \mathbf{w} = 8, w⋅u=8\mathbf{w} \cdot \mathbf{u} = 8, w⋅w=9\mathbf{w} \cdot \mathbf{w} = 9다. 실제로 1열 (9,8)(9, 8)은 A\mathbf{A}를 A⊤\mathbf{A}^\top의 1열 u\mathbf{u}에 곱한 Au\mathbf{A}\mathbf{u}다. AA⊤\mathbf{A}\mathbf{A}^\top는 A\mathbf{A}의 행을 둘씩 짝지은 내적을 빠짐없이 모은 표다. 내적 4번에 곱셈이 3번씩 들어 곱셈은 12번이고, 식 (5)대로 계산하면 일반적으로 m×n×pm \times n \times p번이다.

핵심

m×nm \times n 행렬 A\mathbf{A}와 n×pn \times p 행렬 B\mathbf{B}의 행렬 곱셈 AB\mathbf{A}\mathbf{B}는, A\mathbf{A}의 행과 B\mathbf{B}의 열을 짝지은 내적 m×pm \times p개를 표로 모은 것이다.

행렬 곱셈이 안 되는 경우는 언제야?

행렬 곱셈이 안 되는 것은 앞 행렬의 열 수와 뒤 행렬의 행 수가 다를 때다(식 (6)의 안쪽 nn). A\mathbf{A}(2×32 \times 3)끼리 AA\mathbf{A}\mathbf{A}는 3과 2가 달라 정의되지 않고, AA⊤\mathbf{A}\mathbf{A}^\top는 3과 3이 같아 2×22 \times 2가 된다. 행 하나와 열 하나의 성분 개수가 같아야 내적이 되기 때문이다.

matmul shape 오류 메시지는 어떻게 읽어?

matmul shape 오류는 앞 행렬의 마지막 크기와 뒤 행렬의 끝에서 둘째 크기(2차원이면 첫 크기, 식 (6)의 안쪽 nn)를 비교해 읽는다. NumPy에서 A @ A는 ValueError: matmul: Input operand 1 has a mismatch in its core dimension 0, with gufunc signature (n?,k),(k,m?)->(n?,m?) (size 2 is different from 3)을 낸다. 뒤 행렬(operand 1)의 첫 크기 2가 앞 행렬의 열 수 3과 다르다는 뜻이다. PyTorch는 같은 경우 mat1 and mat2 shapes cannot be multiplied (2x3 and 2x3)처럼 두 크기를 보여 주니, 가운데 두 숫자(3과 2)를 맞춘다.

행렬 곱셈은 순서를 바꾸면 왜 결과가 달라지나

AB\mathbf{A}\mathbf{B}와 BA\mathbf{B}\mathbf{A}는 짝짓는 행과 열이 달라서, 대개 다른 행렬이다. 크기부터 다를 수 있다. AA⊤\mathbf{A}\mathbf{A}^\top는 2×22 \times 2이지만 A⊤A\mathbf{A}^\top\mathbf{A}는 3×33 \times 3이다.

A⊤A\mathbf{A}^\top\mathbf{A}는 A\mathbf{A}의 열끼리의 내적 표라서 (546456668)\left(\begin{smallmatrix} 5 & 4 & 6 \\ 4 & 5 & 6 \\ 6 & 6 & 8 \end{smallmatrix}\right)이다. 1행 3열의 6은 1열 (1,2)(1, 2)와 3열 (2,2)(2, 2)의 내적 2+42 + 4다.

크기가 같은 정사각 행렬끼리도 순서가 중요하다. 가로 길이만 2배로 만드는 S=(2001)\mathbf{S} = \left(\begin{smallmatrix} 2 & 0 \\ 0 & 1 \end{smallmatrix}\right)와 M\mathbf{M}을 곱하면 다음과 같다.

MS=(6122)≠SM=(6212)(7)\mathbf{M}\mathbf{S} = \begin{pmatrix} 6 & 1 \\ 2 & 2 \end{pmatrix} \ne \mathbf{S}\mathbf{M} = \begin{pmatrix} 6 & 2 \\ 1 & 2 \end{pmatrix} \tag{7}

MS\mathbf{M}\mathbf{S}의 1행 1열은 M\mathbf{M}의 1행 (3,1)(3, 1)과 S\mathbf{S}의 1열 (2,0)(2, 0)의 내적 6+0=66 + 0 = 6이다. MSx=M(Sx)\mathbf{M}\mathbf{S}\mathbf{x} = \mathbf{M}(\mathbf{S}\mathbf{x})라서, MS\mathbf{M}\mathbf{S}는 먼저 가로로 늘인 뒤 M\mathbf{M}으로 옮긴다. SM\mathbf{S}\mathbf{M}은 M\mathbf{M}으로 옮긴 뒤 가로로 늘인다. 그림 3에서 e1\mathbf{e}_1은 MS\mathbf{M}\mathbf{S}로 (6,2)(6, 2), SM\mathbf{S}\mathbf{M}으로 (6,1)(6, 1)에 간다.

같은 단위 정사각형(점선)을 MS(왼쪽)와 SM(오른쪽)으로 옮긴 모양. e_1은 (6, 2)와 (6, 1)로, e_2는 (1, 2)와 (2, 2)로 가서 서로 다른 평행사변형이 된다.
그림 3 같은 단위 정사각형(점선)을 MS\mathbf{M}\mathbf{S}(왼쪽)와 SM\mathbf{S}\mathbf{M}(오른쪽)으로 옮긴 모양. e1\mathbf{e}_1은 (6, 2)(6,\ 2)와 (6, 1)(6,\ 1)로, e2\mathbf{e}_2는 (1, 2)(1,\ 2)와 (2, 2)(2,\ 2)로 가서 서로 다른 평행사변형이 된다. figures/order_matters.py

행렬 곱셈은 교환법칙이 성립해?

행렬 곱셈의 교환법칙은 일반적으로 성립하지 않는다. M=(3112)\mathbf{M} = \left(\begin{smallmatrix} 3 & 1 \\ 1 & 2 \end{smallmatrix}\right), S=(2001)\mathbf{S} = \left(\begin{smallmatrix} 2 & 0 \\ 0 & 1 \end{smallmatrix}\right)이면 MS\mathbf{M}\mathbf{S}의 1행 2열은 1, SM\mathbf{S}\mathbf{M}의 1행 2열은 2다(식 (7)). 항등행렬은 같은 크기의 정사각 행렬과 순서를 바꿔도 되지만, 그런 짝은 예외다. 대신 크기가 맞으면 묶는 순서는 바꿔도 되어(결합법칙) (AB)C=A(BC)(\mathbf{A}\mathbf{B})\mathbf{C} = \mathbf{A}(\mathbf{B}\mathbf{C})다.

곱의 전치행렬 (AB)ᵀ는 왜 BᵀAᵀ로 순서가 뒤집혀?

두 행렬의 곱을 전치하면 (AB)⊤=B⊤A⊤(\mathbf{A}\mathbf{B})^\top = \mathbf{B}^\top\mathbf{A}^\top로 곱하는 순서가 뒤집힌다. 전치가 행과 열을 맞바꿔서, A\mathbf{A}의 행과 B\mathbf{B}의 열의 내적이 B⊤\mathbf{B}^\top의 행과 A⊤\mathbf{A}^\top의 열의 내적이 되기 때문이다. 식 (7)의 M\mathbf{M}과 S\mathbf{S}는 전치해도 그대로라, MS\mathbf{M}\mathbf{S}를 전치한 (6212)\left(\begin{smallmatrix} 6 & 2 \\ 1 & 2 \end{smallmatrix}\right)가 곧 SM\mathbf{S}\mathbf{M}이다.

행렬 곱셈의 흔한 오해

  • 행렬 곱도 순서를 바꿔도 된다(AB = BA) — 식 (7)이 반례다. 같은 두 행렬을 곱한 MS\mathbf{M}\mathbf{S}와 SM\mathbf{S}\mathbf{M}이 서로 다르다(그림 3, 위의 교환법칙 질문).
  • 행렬 곱은 같은 자리끼리 곱하는 것이다 — 같은 자리끼리 곱하는 것은 아다마르 곱 A⊙B\mathbf{A} \odot \mathbf{B}이고, 수학에서는 크기가 같아야 한다. A⊙A=(144414)\mathbf{A} \odot \mathbf{A} = \left(\begin{smallmatrix} 1 & 4 & 4 \\ 4 & 1 & 4 \end{smallmatrix}\right)는 되지만 행렬 곱 AA\mathbf{A}\mathbf{A}는 3과 2가 달라 정의되지 않는다. NumPy에서 A * A가 앞의 것, A @ A는 ValueError다.
  • 전치가 곧 역행렬이다 — 역행렬은 곱해서 I\mathbf{I}가 되는 행렬인데, M⊤=M\mathbf{M}^\top = \mathbf{M}을 곱한 MM⊤=(10555)\mathbf{M}\mathbf{M}^\top = \left(\begin{smallmatrix} 10 & 5 \\ 5 & 5 \end{smallmatrix}\right)은 I\mathbf{I}가 아니다. I\mathbf{I}가 되는 것은 M−1=15(2−1−13)\mathbf{M}^{-1} = \tfrac{1}{5}\left(\begin{smallmatrix} 2 & -1 \\ -1 & 3 \end{smallmatrix}\right)이고(MM−1\mathbf{M}\mathbf{M}^{-1}의 1행 1열이 (3×2−1×1)/5=1(3 \times 2 - 1 \times 1)/5 = 1), 둘이 같은 것은 열끼리 직교하고 열마다 길이가 1인 정사각 행렬(직교 행렬)일 때뿐이다. M−1\mathbf{M}^{-1}은 대각선의 3과 2를 맞바꾸고 나머지 둘의 부호를 바꿔 3×2−1×1=53 \times 2 - 1 \times 1 = 5로 나눈 것이다(2×22 \times 2 행렬의 역행렬 공식).

행렬 곱셈은 AI에서 어디에 쓰이나

신경망의 순전파(forward)에서 선형층과 어텐션의 계산은 행렬 곱이다. 선형층(완전연결층)은 입력 x\mathbf{x}에 가중치 행렬 W\mathbf{W}를 곱하고 편향 c\mathbf{c}를 더한다. W\mathbf{W}의 각 행이 출력 하나를 만드는 가중치 벡터라, 출력 하나하나가 그 행과 x\mathbf{x}의 내적이다.

정의
기호이름원어뜻
W,c\mathbf{W}, \mathbf{c}가중치 행렬, 편향weight, bias선형층(식 (8)). 문헌은 편향을 흔히 b\mathbf{b}로 쓰지만, 이 사이트에서 b\mathbf{b}는 예시 벡터라 c\mathbf{c}로 쓴다
X,Y\mathbf{X}, \mathbf{Y}, NN배치batch샘플 NN개의 입력·출력을 행으로 쌓은 행렬. 사이트 규약의 미니배치 크기 BB는 굵은 행렬 B\mathbf{B}와 헷갈려 이 페이지에서는 NN으로 쓴다
1\mathbf{1}1벡터ones vector성분이 모두 1인 N×1N \times 1 열벡터. 1c⊤\mathbf{1}\mathbf{c}^\top는 모든 행이 c⊤\mathbf{c}^\top인 행렬
Q,K\mathbf{Q}, \mathbf{K}, dkd_k질의 행렬, 키 행렬, 키 차원query, key, key dimension어텐션. 행이 질의 벡터 qi\mathbf{q}_i, 키 벡터 kj\mathbf{k}_j다(굵은 글자의 첨자는 벡터 번호). dkd_k는 키 벡터의 차원(관례 표기)
y=Wx+c,Y=XW⊤+1c⊤(8)\mathbf{y} = \mathbf{W}\mathbf{x} + \mathbf{c}, \qquad \mathbf{Y} = \mathbf{X}\mathbf{W}^\top + \mathbf{1}\mathbf{c}^\top \tag{8}

W=A\mathbf{W} = \mathbf{A}, x=(2,−2,1)\mathbf{x} = (2, -2, 1)이면 Wx=(0,4)\mathbf{W}\mathbf{x} = (0, 4)다. 첫 성분이 0인 것은 (2,−2,1)(2, -2, 1)이 u\mathbf{u}와 직교하기 때문이다(벡터와 내적의 직접 해보기 2). c=(1,−1)\mathbf{c} = (1, -1)을 더하면 y=(1,3)\mathbf{y} = (1, 3)이다.

샘플 NN개를 한 번에 넣을 때는 샘플을 행으로 쌓은 배치 X\mathbf{X}(N×3N \times 3)를 쓴다. 그러면 식 (8)의 오른쪽처럼 W\mathbf{W}를 전치해 오른쪽에 곱하고, XW⊤\mathbf{X}\mathbf{W}^\top의 ii행이 ii번째 샘플의 Wx\mathbf{W}\mathbf{x}가 된다. 샘플을 행으로 눕히면 (Wx)⊤=x⊤W⊤(\mathbf{W}\mathbf{x})^\top = \mathbf{x}^\top\mathbf{W}^\top이기 때문이다(곱을 전치하면 순서가 뒤집힌다).

1c⊤\mathbf{1}\mathbf{c}^\top는 모든 행이 c⊤\mathbf{c}^\top인 행렬이라, + 1c⊤+\,\mathbf{1}\mathbf{c}^\top는 모든 행에 c⊤\mathbf{c}^\top를 더한다. 코드에서는 크기 (2,)인 c를 그냥 더하면 행마다 더해진다(브로드캐스팅).

X\mathbf{X}의 두 행이 (2,−2,1)(2, -2, 1)과 u=(1,2,2)\mathbf{u} = (1, 2, 2)면 XW⊤=(0498)\mathbf{X}\mathbf{W}^\top = \left(\begin{smallmatrix} 0 & 4 \\ 9 & 8 \end{smallmatrix}\right)이고, c\mathbf{c}를 더한 Y\mathbf{Y}는 (13107)\left(\begin{smallmatrix} 1 & 3 \\ 10 & 7 \end{smallmatrix}\right)이다. 2행 (9,8)(9, 8)은 Au\mathbf{A}\mathbf{u}와 같다.

분류 모델의 마지막 선형층이면 이 출력 y\mathbf{y}가 소프트맥스에 들어가는 로짓이다(그 페이지는 로짓을 z\mathbf{z}, 정답을 y\mathbf{y}로 쓴다).

이 페이지NumPy · PyTorch
m×nm \times nA.shape — 예시 A\mathbf{A}는 (2, 3)
A⊤\mathbf{A}^\top (2차원)NumPy·PyTorch 모두 A.T. NumPy의 A.transpose(0, 1)은 2차원에서 축 순서를 그대로 두라는 뜻이라 전치가 아니다
배치의 전치 (3차원 이상)마지막 두 축만 바꾼다. A.mT(NumPy 2.0 이상·PyTorch), NumPy A.swapaxes(-2, -1), PyTorch A.transpose(-2, -1). NumPy .T는 모든 축을 뒤집어 (5, 6, 3)이 (3, 6, 5)가 된다. PyTorch의 .T도 2차원이 아닌 텐서에서는 폐기 예정(deprecated)이다
AB\mathbf{A}\mathbf{B} (식 (5))A @ B, np.matmul(A, B), torch.matmul(A, B)
Ax\mathbf{A}\mathbf{x} (식 (3))A @ x — x가 1차원 (3,)이면 결과도 1차원 (2,)
A⊙B\mathbf{A} \odot \mathbf{B}A * B — 행렬 곱이 아니다
I\mathbf{I}np.eye(2), torch.eye(2)
W\mathbf{W}torch.nn.Linear(in_features=3, out_features=2)의 weight. shape은 (2, 3), 곧 (출력, 입력)
c\mathbf{c}같은 층의 bias. shape (2,)
식 (8) 오른쪽layer(X) — X가 (N, 3)이면 출력은 (N, 2). 문서는 같은 식을 y=xA⊤+by = xA^\top + b로 적는다(문서의 AA가 이 페이지의 W\mathbf{W}, bb가 c\mathbf{c})
QK⊤\mathbf{Q}\mathbf{K}^\topQ @ K.mT — PyTorch에서는 Q @ K.transpose(-2, -1)로도 쓴다

nn.Linear weight shape은 왜 (out, in)이야?

nn.Linear의 weight가 선형층 y=Wx+c\mathbf{y} = \mathbf{W}\mathbf{x} + \mathbf{c}의 가중치 행렬 W\mathbf{W}를 그대로 저장하기 때문이다(식 (8)). Wx\mathbf{W}\mathbf{x}에서 출력 하나가 W\mathbf{W}의 행 하나와 입력의 내적이라, 행 수가 출력 수, 열 수가 입력 수다. nn.Linear(3, 2)의 weight는 (2, 3)이고, 배치 X(N×3N \times 3)에는 전치한 weight.T(3×23 \times 2)가 곱해져 X @ weight.T가 N×2N \times 2다. Keras의 Dense는 반대로 kernel을 (입력, 출력)으로 두고 x @ kernel을 계산해서, 두 프레임워크 사이에 가중치를 옮길 때는 전치한다.

어텐션의 QKᵀ는 왜 K를 전치하나

Q\mathbf{Q}와 K\mathbf{K}는 둘 다 질의 벡터·키 벡터를 행으로 쌓은 행렬이라, K\mathbf{K}를 전치해 키를 열로 세워야 식 (5)가 질의 qi\mathbf{q}_i와 키 kj\mathbf{k}_j를 짝지어 내적하기 때문이다. 그래서 QK⊤\mathbf{Q}\mathbf{K}^\top 한 번으로 모든 질의와 키의 점수 표가 나오고, (i,j)(i, j) 성분이 qi⋅kj\mathbf{q}_i \cdot \mathbf{k}_j다.

Q=K=A\mathbf{Q} = \mathbf{K} = \mathbf{A}라면 점수는 AA⊤=(9889)\mathbf{A}\mathbf{A}^\top = \left(\begin{smallmatrix} 9 & 8 \\ 8 & 9 \end{smallmatrix}\right)이다. 이 예에서 전치하지 않은 QK\mathbf{Q}\mathbf{K}는 (2×3)(2×3)(2 \times 3)(2 \times 3)이라 곱할 수도 없다.44 질의 수와 dkd_k가 같으면 QK\mathbf{Q}\mathbf{K}도 곱해져서 오류 없이 틀린 점수가 나온다. Q=(1011)\mathbf{Q} = \left(\begin{smallmatrix} 1 & 0 \\ 1 & 1 \end{smallmatrix}\right), K=(1234)\mathbf{K} = \left(\begin{smallmatrix} 1 & 2 \\ 3 & 4 \end{smallmatrix}\right)이면 QK⊤=(1337)\mathbf{Q}\mathbf{K}^\top = \left(\begin{smallmatrix} 1 & 3 \\ 3 & 7 \end{smallmatrix}\right)인데 QK=(1246)\mathbf{Q}\mathbf{K} = \left(\begin{smallmatrix} 1 & 2 \\ 4 & 6 \end{smallmatrix}\right)이다. 이 점수를 dk\sqrt{d_k}로 나눠 소프트맥스에 넣는 것은 소프트맥스 페이지에서 다룬다.

코드로 확인하기

식 (5)를 반복문으로 그대로 옮기고, @의 결과와 같은지 본다. 기호를 누르면 수식과 코드에서 같은 첨자가 함께 표시된다. 안쪽 첨자 k가 A\mathbf{A}의 열과 B\mathbf{B}의 행을 동시에 훑는다.

수식
(AB)ij=∑k=1nAik Bkj(5)\sym{prod}{(\mathbf{A}\mathbf{B})}_{\sym{i}{i}\sym{j}{j}} = \sum_{\sym{k}{k}=1}^{n} A_{\sym{i}{i}\sym{k}{k}}\, B_{\sym{k}{k}\sym{j}{j}} \tag{5}
코드 figures/matmul.py
import numpy as np

A = np.array([[1.0, 2.0, 2.0],      # 1행 = u
              [2.0, 1.0, 2.0]])     # 2행 = w
B = A.T                             # 식 (2) 의 전치: 3×2
m, n = A.shape
p = B.shape[1]

prod = np.zeros((m, p))             # 식 (6): (m×n)(n×p) = m×p
for i in range(m):
    for j in range(p):
        prod[i, j] = sum(A[i, k] * B[k, j] for k in range(n))   # 식 (5)

print("A", A.shape, "@ B", B.shape, "->", prod.shape)
print("반복문으로:\n", prod)
print("A @ B 로:\n", A @ B)
print("B @ A 의 shape:", (B @ A).shape)
print("A @ u =", A @ np.array([1.0, 2.0, 2.0]))   # 식 (3)
$ python matmul.py
A (2, 3) @ B (3, 2) -> (2, 2)
반복문으로:
 [[9. 8.]
 [8. 9.]]
A @ B 로:
 [[9. 8.]
 [8. 9.]]
B @ A 의 shape: (3, 3)
A @ u = [9. 8.]

직접 해보기

  1. A⊤A\mathbf{A}^\top\mathbf{A}의 3행 3열 성분을 식 (5)로 구하라. 이 값은 A\mathbf{A}의 어느 열의 길이와 어떤 관계인가?
  2. M\mathbf{M}에 (1,−1)(1, -1)을 곱하면 어디로 가나? a\mathbf{a}와 b\mathbf{b}로 나타내 보라.
  3. 크기 4×34 \times 3인 배치 X를 nn.Linear(3, 2)에 넣으면 출력의 shape은 무엇인가? X @ layer.weight는 왜 오류가 나나?
답
  1. A\mathbf{A}의 3열 (2,2)(2, 2)와 자기 자신의 내적이라 2×2+2×2=82 \times 2 + 2 \times 2 = 8이다. 3열의 길이 8\sqrt{8}의 제곱이다. A⊤A\mathbf{A}^\top\mathbf{A}의 대각선은 열 길이의 제곱이다.
  2. 식 (4)에서 1×(3,1)+(−1)×(1,2)=(2,−1)1 \times (3, 1) + (-1) \times (1, 2) = (2, -1), 곧 a−b\mathbf{a} - \mathbf{b}다. 행으로 읽어도 (3−1, 1−2)=(2,−1)(3 - 1,\ 1 - 2) = (2, -1)이다.
  3. 식 (8)의 XW⊤\mathbf{X}\mathbf{W}^\top가 (4×3)(3×2)(4 \times 3)(3 \times 2)라 출력은 (4, 2)다. layer.weight는 (2, 3)이라 X @ layer.weight는 (4×3)(2×3)(4 \times 3)(2 \times 3), 안쪽 3과 2가 달라 곱할 수 없다.

더 읽기

  • Deep Learning, 2장 Linear Algebra — Goodfellow·Bengio·Courville, 2016. 2.2절이 행렬 곱을 식 (5)로 정의하고, 교환법칙이 성립하지 않는다는 것과 아다마르 곱 A ⊙ B를 따로 적는다. 2.3절이 항등행렬과 역행렬을 다룬다. '행렬 곱셈은 어떻게 계산하나 — 내적을 m×p번' §와 흔한 오해 §가 기댄다.
  • MIT 18.06 Linear Algebra, Spring 2010 — Gilbert Strang, MIT OpenCourseWare, 2010. 3강(Multiplication and inverse matrices)이 행렬 곱을 행·열·열 조합으로 읽는 법을 보인다. 교과서 Introduction to Linear Algebra 2.4절(Rules for Matrix Operations)과 짝이다. '행렬-벡터 곱은 행마다 한 내적이다'와 '행렬은 평면의 점을 어디로 옮기나 — 선형변환' §가 기댄다.
  • numpy.matmul — NumPy 공식 문서. 시그니처 (n,k),(k,m)->(n,m)과, 앞 배열의 마지막 크기가 뒤 배열의 끝에서 둘째 크기와 다르면 ValueError를 낸다는 것을 적는다. 'matmul shape 오류' 질문이 기댄다.
  • torch.nn.Linear — PyTorch 공식 문서. 층의 식 y=xA⊤+by = xA^\top + b와 weight의 shape (out_features, in_features), bias의 shape (out_features)를 적는다. '행렬 곱셈은 AI에서 어디에 쓰이나' §의 대응표와 질문이 기댄다.
  • Attention Is All You Need — Vaswani 외, 2017. 3.2.1절의 식 (1)이 어텐션 점수를 질의 행렬과 키 행렬의 곱 QK⊤QK^\top를 dk\sqrt{d_k}로 나눈 값으로 계산한다. '어텐션의 QKᵀ는 왜 K를 전치하나' §가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "행렬 곱셈은 내적을 몇 번 하는 걸까?"
  • 00:40 식 (1)·(2) — 표로서의 행렬, 성분 AijA_{ij}, 전치
  • 02:00 식 (3) — Au=(9,8)\mathbf{A}\mathbf{u} = (9, 8), 행마다 내적
  • 03:20 그림 1과 식 (4) — 열이 기준 벡터가 가는 자리, 모눈 고무판
  • 05:00 그림 2와 식 (5)·(6) — 1행 2열의 8, 안쪽 크기가 같아야 하는 이유
  • 06:40 그림 3과 식 (7) — MS≠SM\mathbf{M}\mathbf{S} \ne \mathbf{S}\mathbf{M}, 먼저 하는 쪽이 오른쪽
  • 08:00 식 (8) — nn.Linear weight 가 (2, 3)인 이유, QK⊤\mathbf{Q}\mathbf{K}^\top · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

시그마 (수열의 합)미적분벡터와 내적선형대수행렬 연산지금 이 페이지어텐션예정고윳값과 고유벡터선형대수선형변환선형대수소프트맥스 회귀예정
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 8, 그림 3, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 5개와 PyTorch 2.15 문서(nn.Linear 식·weight 크기) 확인, Wikidata Q1049914, 소프트맥스 페이지 링크, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 영어판 번역
  4. 2026-11-05 · 남은 질문(같은 행렬을 거듭 곱하면)을 고유값 페이지(예정)로 넘김
  5. 2026-11-05 · 영어판에서도 같은 todo 제거
  6. 2026-11-05 · 받은 질문은 소프트맥스 페이지에만 남김 (홈 '질문에서 페이지로' 중복 정리)
  7. 2026-11-05 · 남은 질문(역행렬은 언제 있고 어떻게 구하나)을 역행렬 페이지(예정)로 넘김 (영어판도)
  8. 2026-11-05 · 직접 검토 — 완성으로 올림
  9. 2026-11-13 · 독자 패널 리뷰 반영 — 첫 화면에 AI 연결, 행과 열을 짝짓는 이유, 행렬 곱셈·전치행렬·단위행렬·선형변환 낱말, 숫자를 만든 식, 소프트맥스 로짓으로 가는 연결, 질문 블록 하나 (에이전트 수정, 다시 검토 전)