선형대수선형변환의 합성#380

선형변환의 합성

Composition of Linear Maps

선형변환의 합성은 앞 변환의 출력을 다음 변환의 입력으로 넣는 연산이다. 먼저 A, 다음 B를 적용하면 BA가 되는 이유와 중간 차원 조건, 회전·대칭에서 순서에 따른 결과 차이와 두 대칭의 합성이 회전이 되는 것을 계산한다.

주인공 기호
T
읽는 시간
약 7분
선수 개념
선형변환평면의 회전변환평면의 대칭변환과 닮음변환

직관 — 두 가공 단계를 이어 붙인다

직관

첫 장치의 결과를 두 번째 장치에 넣으면 두 가공이 이어진다. 포장한 뒤 라벨을 붙이는 일과 라벨을 붙인 뒤 포장하는 일처럼, 순서를 바꾸면 결과가 달라질 수 있다. 행렬 곱도 어떤 장치를 먼저 통과하는지 읽어야 한다.

각 장치가 선형변환이고, 둘을 차례로 적용하는 규칙이 합성이다. 합성함수에서 gg를 먼저 적용한 함수를 f∘gf\circ g로 쓴 것과 같은 약속이다. 이 글에서는 열벡터를 행렬 오른쪽에 곱한다. 먼저 적용하는 행렬이 벡터에 가까이 놓인다는 사실이 곱셈 순서를 정한다.

먼저 A를 적용하고 다음 B를 적용하면 BA다

T(x)=AxT(\mathbf x)=A\mathbf x, S(y)=ByS(\mathbf y)=B\mathbf y라 하자. 합성변환 S∘TS\circ T는 먼저 TT의 결과를 만든 뒤 그 결과에 SS를 적용한다.

(S∘T)(x)=S(T(x))=B(Ax)=(BA)x.(1)(S\circ T)(\mathbf x)=S(T(\mathbf x))=B(A\mathbf x)=(BA)\mathbf x.\tag{1}

S∘TS\circ T는 오른쪽의 TT부터 읽고, BABA도 입력 옆의 AA부터 작용한다. 문자 순서를 임의로 뒤집는 규칙이 아니라 실제 입력의 이동 순서를 식으로 적은 것이다.

정의
기호이름원어뜻
T,ST,S선형변환linear transformation입력을 차례로 처리하는 두 함수
S∘TS\circ T합성변환compositionT를 먼저, S를 다음에 적용
A,BA,B표현행렬standard matrix각각 T와 S를 표준기저로 표현
BABA합성의 행렬matrix of a compositionB의 행 수와 A의 열 수를 갖는 행렬
x,y\mathbf x,\mathbf y입력·중간 결과input, intermediate outputy=Ax를 다음 변환에 넣음
aj\mathbf a_jA의 j번째 열column표준기저 ej\mathbf e_j의 상 T(ej)T(\mathbf e_j)
Hx,Hy,Hy=xH_x,H_y,H_{y=x}대칭변환 행렬reflection matrixxx축, yy축, 직선 y=xy=x에 대한 대칭

교과서는 변환을 f,gf,g로 쓴다. ff를 먼저, gg를 다음에 적용한 합성 g∘fg\circ f를 나타내는 행렬은 ff의 행렬이 AA, gg의 행렬이 BB일 때 BABA다.

변환을 두 번 하면 행렬을 더하는 것 아닌가?

아니다. 두 변환을 차례로 적용하는 것은 행렬의 곱이다. 행렬의 합 A+BA+B는 같은 입력에 따로 적용한 결과 Ax+BxA\mathbf x+B\mathbf x를 더하는 연산이어서, 차례로 처리한 결과 B(Ax)B(A\mathbf x)와 다르다.

합성의 행렬이 왜 곱 BA가 되나

합성의 표현행렬도 표준기저의 상을 열로 모은 것이고, 그 열이 곧 BABA의 열이기 때문이다. ej\mathbf e_j는 AA를 거쳐 AA의 jj번째 열 aj\mathbf a_j가 되고, 다시 BB를 거쳐 BajB\mathbf a_j가 된다.

(S∘T의 행렬)=(Ba1⋯Ban)=BA.(2)\bigl(S\circ T\text{의 행렬}\bigr)=\begin{pmatrix}B\mathbf a_1&\cdots&B\mathbf a_n\end{pmatrix}=BA.\tag{2}

행렬 곱의 정의에서 BABA의 jj번째 열은 BB와 aj\mathbf a_j의 곱이므로 둘은 같다. 합성도 선형이다. TT가 일차결합을 보존해 aT(u)+bT(v)aT(\mathbf u)+bT(\mathbf v)를 만들고, SS가 이를 다시 aS(T(u))+bS(T(v))aS(T(\mathbf u))+bS(T(\mathbf v))로 보낸다.

교과서처럼 식에 대입해 합성해도 같은 행렬이 나온다. T(x,y)=(x+y,y)T(x,y)=(x+y,y), S(x,y)=(2x,x−y)S(x,y)=(2x,x-y)라 하자. S(T(x,y))=S(x+y,y)=(2x+2y,x)S(T(x,y))=S(x+y,y)=(2x+2y,x)이다. 두 변환의 행렬 AA, BB를 곱해도 같은 결과가 나온다.

BA=(201−1)(1101)=(2210).(3)BA=\begin{pmatrix}2&0\\1&-1\end{pmatrix}\begin{pmatrix}1&1\\0&1\end{pmatrix}=\begin{pmatrix}2&2\\1&0\end{pmatrix}.\tag{3}

(1,2)(1,2)는 TT를 거쳐 (3,2)(3,2), 이어 SS를 거쳐 (6,1)(6,1)이 된다. 식 (3)의 BABA를 한 번 곱해도 (2+4,1)=(6,1)(2+4,1)=(6,1)이다. 반대 순서 T(S(x,y))=(3x−y,x−y)T(S(x,y))=(3x-y,x-y)는 AB=(3−11−1)AB=\begin{pmatrix}3&-1\\1&-1\end{pmatrix}로 다른 변환이다.

회전한 다음 뒤집는 것과 뒤집은 다음 회전하는 것은 다르다

AA를 90° 반시계 회전, BB를 xx축 대칭으로 두자.

A=(0−110),B=(100−1).(4)A=\begin{pmatrix}0&-1\\1&0\end{pmatrix},\qquad B=\begin{pmatrix}1&0\\0&-1\end{pmatrix}.\tag{4}

식 (4)의 두 행렬로 입력 (2,1)(2,1)을 옮긴다. AA를 거치면 (−1,2)(-1,2), 이어 BB를 거치면 (−1,−2)(-1,-2)다. 순서를 바꾸면 먼저 BB가 (2,−1)(2,-1)을 만들고, AA가 이것을 (1,2)(1,2)로 보낸다.

BA=(0−1−10),AB=(0110).(5)BA=\begin{pmatrix}0&-1\\-1&0\end{pmatrix},\qquad AB=\begin{pmatrix}0&1\\1&0\end{pmatrix}.\tag{5}

예를 들어 BABA의 둘째 행 첫째 성분은 0×0+(−1)×1=−10\times0+(-1)\times1=-1이다. ABAB의 같은 자리는 1×1+0×0=11\times1+0\times0=1이다. 이 한 칸의 부호부터 달라져 같은 행렬이 될 수 없다.

입력 mathbf v=(2,1)을 두 순서로 변환한다. 위는 A로 회전한 뒤 B로 대칭하여 BAmathbf v=(-1,-2), 아래는 B로 대칭한 뒤 A로 회전하여 ABmathbf v=(1,2)가 된다. 각 패널의 점선은 중간 결과를 표시한다.
그림 1 입력 v=(2,1)\mathbf v=(2,1)을 두 순서로 변환한다. 위는 AA로 회전한 뒤 BB로 대칭하여 BAv=(−1,−2)BA\mathbf v=(-1,-2), 아래는 BB로 대칭한 뒤 AA로 회전하여 ABv=(1,2)AB\mathbf v=(1,2)가 된다. 각 패널의 점선은 중간 결과를 표시한다. figures/composition_order.py

식 (5)의 두 행렬은 이미 아는 변환이다. BABA는 직선 y=−xy=-x에 대한 대칭, ABAB는 직선 y=xy=x에 대한 대칭의 행렬과 같다. 그림 2처럼 한 삼각형 전체가 서로 다른 거울에 비친 자리로 간다.

굵은 선 삼각형을 BA와 AB로 옮긴 상. BA의 상(점선)은 직선 y=-x에 대해, AB의 상은 직선 y=x에 대해 원래 삼각형과 대칭이다.
그림 2 굵은 선 삼각형을 BABA와 ABAB로 옮긴 상. BABA의 상(점선)은 직선 y=−xy=-x에 대해, ABAB의 상은 직선 y=xy=x에 대해 원래 삼각형과 대칭이다. figures/composite_reflections.py

모든 두 변환의 순서가 반드시 다른 결과를 내는 것은 아니다. 원점 중심 균일 확대 kIkI는 어떤 행렬 MM과도 (kI)M=kM=M(kI)(kI)M=kM=M(kI)이다. 행렬 곱의 교환법칙이 일반 법칙은 아니라는 뜻이지, AB=BAAB=BA인 행렬이 없다는 뜻은 아니다.

두 회전끼리도 순서를 바꿔도 같다. 회전의 합성은 회전각이 더해지는 것이고, 각의 덧셈은 순서를 바꿔도 같기 때문이다. 30° 회전행렬 12(3−113)\tfrac12\begin{pmatrix}\sqrt3&-1\\1&\sqrt3\end{pmatrix}과 60° 회전행렬 12(1−331)\tfrac12\begin{pmatrix}1&-\sqrt3\\\sqrt3&1\end{pmatrix}은 어느 순서로 곱해도 14(0−440)\tfrac14\begin{pmatrix}0&-4\\4&0\end{pmatrix}, 곧 식 (4)의 90° 회전 AA다.

한 벡터에서 AB와 BA의 결과가 같으면 두 행렬도 같은가?

아니다. 한 벡터에서 같아도 다른 벡터에서는 다를 수 있다. 가로 2배 (2001)\begin{pmatrix}2&0\\0&1\end{pmatrix}와 층밀림 (1101)\begin{pmatrix}1&1\\0&1\end{pmatrix}의 두 곱은 (1,0)(1,0)을 모두 (2,0)(2,0)으로 보내지만, (0,1)(0,1)은 (2,1)(2,1)과 (1,1)(1,1)로 보낸다. 행렬이 같은지 보려면 모든 표준기저의 결과, 즉 모든 열을 비교한다.

두 대칭변환을 합성하면 회전변환이 된다

xx축 대칭 다음 직선 y=xy=x 대칭을 하면 원점 중심 90° 회전이 된다. 두 거울 사이의 각 45°의 두 배만큼 돈다.

Hy=xHx=(0110)(100−1)=(0−110)=A.(6)H_{y=x}H_x=\begin{pmatrix}0&1\\1&0\end{pmatrix}\begin{pmatrix}1&0\\0&-1\end{pmatrix}=\begin{pmatrix}0&-1\\1&0\end{pmatrix}=A.\tag{6}

그림 3에서 (2,1)(2,1)은 HxH_x로 (2,−1)(2,-1)이 되고, Hy=xH_{y=x}로 (−1,2)(-1,2)가 된다. 처음과 마지막 사이의 각은 90°이고, 식 (4)의 회전 AA가 낸 결과와 같다. 순서를 바꾼 HxHy=xH_xH_{y=x}는 −90∘-90^\circ 회전이다.

먼저 x축을 거울로, 다음에 직선 y=x를 거울로 삼아 mathbf v=(2,1)을 두 번 대칭이동한 과정. 두 거울 사이의 각은 45°이고, 처음과 마지막 벡터 사이의 각은 그 두 배인 90°다.
그림 3 먼저 xx축을 거울로, 다음에 직선 y=xy=x를 거울로 삼아 v=(2,1)\mathbf v=(2,1)을 두 번 대칭이동한 과정. 두 거울 사이의 각은 45°이고, 처음과 마지막 벡터 사이의 각은 그 두 배인 90°다. figures/two_reflections.py

대칭은 꼭짓점의 돌아가는 방향을 뒤집는다. 두 번 뒤집으면 방향이 원래대로 돌아오고 길이도 그대로이므로 회전이 남는다. 대칭과 회전을 한 번씩 합성하면 방향이 한 번만 뒤집혀 회전이 될 수 없다. 식 (5)의 BABA와 ABAB도 회전이 아니라 대칭이었다.

두 대칭축의 각으로 일반화하면

xx축과 각 α\alpha를 이루는 축에 대한 대칭변환의 행렬은 (cos⁡2αsin⁡2αsin⁡2α−cos⁡2α)\begin{pmatrix}\cos2\alpha&\sin2\alpha\\\sin2\alpha&-\cos2\alpha\end{pmatrix}다(평면의 대칭변환과 닮음변환의 각 꼴). 각 α\alpha인 축의 대칭 다음 각 β\beta인 축의 대칭을 곱하면, 덧셈정리로 성분이 cos⁡2(β−α)\cos2(\beta-\alpha)와 sin⁡2(β−α)\sin2(\beta-\alpha)로 정리된다. 따라서 합성은 2(β−α)2(\beta-\alpha)만큼의 회전이다. α=0\alpha=0, β=45∘\beta=45^\circ이면 식 (6)의 90°다.

중간 결과의 성분 수가 다음 입력과 맞아야 한다

AA가 p×np\times n이면 nn성분 입력을 pp성분 결과로 보낸다. 다음 행렬 BB는 그 pp성분을 입력받아야 하므로 열 수가 pp여야 한다. BB가 m×pm\times p이면 합성 BABA는 m×nm\times n이다.

A=(100111),B=(101010),BA=(2101).(7)A=\begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix},\qquad B=\begin{pmatrix}1&0&1\\0&1&0\end{pmatrix},\qquad BA=\begin{pmatrix}2&1\\0&1\end{pmatrix}.\tag{7}

식 (7)에서 (1,2)(1,2)는 먼저 (1,2,3)(1,2,3)이 되고, 다음에 (1+3,2)=(4,2)(1+3,2)=(4,2)가 된다. 합성행렬을 한 번 곱해도 (2×1+1×2,2)=(4,2)(2\times1+1\times2,2)=(4,2)다. 그림 4처럼 평면→공간→평면의 두 단계를 2×2 행렬 하나로 나타낸 셈이다.

식 (7)의 두 단계를 크기와 함께 그린 사슬. A(3×2)는 평면의 (1,2)를 공간의 (1,2,3)으로, B(2×3)는 이것을 평면의 (4,2)로 보내고, 아래 화살표의 BA(2×2)가 같은 일을 한 번에 한다.
그림 4 식 (7)의 두 단계를 크기와 함께 그린 사슬. A(3×2)A(3\times2)는 평면의 (1,2)(1,2)를 공간의 (1,2,3)(1,2,3)으로, B(2×3)B(2\times3)는 이것을 평면의 (4,2)(4,2)로 보내고, 아래 화살표의 BA(2×2)BA(2\times2)가 같은 일을 한 번에 한다. figures/dimension_chain.py

이 예에서는 반대 곱 ABAB도 계산할 수 있지만 크기는 3×3이다. 그것은 공간→평면→공간으로 가는 다른 변환이므로 (1,2)(1,2)를 그대로 입력할 수 없다. 곱을 비교할 때는 값뿐 아니라 어느 공간의 입력을 받는지도 확인한다.

세 변환에서는 괄호를 옮겨도 순서는 유지된다

세 변환을 AA, BB, CC 순서로 적용하면 C(B(Ax))C(B(A\mathbf x))다. 중간 두 단계를 어느 쪽부터 묶어 계산하든 입력이 통과하는 순서는 같다.

C(BA)=(CB)A.(8)C(BA)=(CB)A.\tag{8}

식 (8)은 크기가 맞는 행렬의 결합법칙이다. 어느 입력에도 같은 결과를 주며, 특히 모든 표준기저에 같은 결과를 주므로 두 행렬의 각 열이 같다. 괄호를 바꾸는 결합법칙과 문자 순서를 바꾸는 교환법칙을 구별해야 한다.

핵심

선형변환의 합성에서 열벡터에 AA를 먼저, BB를 다음에 적용한 변환의 행렬은 BABA다. 순서를 바꾸면 회전과 대칭처럼 다른 변환이 될 수 있으므로 순서와 중간 공간의 차원을 함께 확인한다.

같은 변환을 여러 번 적용하면 어떻게 쓰나?

같은 정사각행렬 AA를 두 번 적용하면 A2A^2, 세 번이면 A3A^3이다. 출력을 다시 넣어야 하므로 입력과 출력 공간이 같아야 한다. 대칭은 Hx2=IH_x^2=I로 두 번에 제자리이고, 식 (4)의 90° 회전 AA는 A2=−IA^2=-I, A4=IA^4=I로 네 번에 제자리다.

합성변환의 역변환은 어떤 순서로 구하나?

합성변환 S∘TS\circ T의 역변환은 나중에 한 것부터 되돌리는 T−1∘S−1T^{-1}\circ S^{-1}이고, 행렬로는 (BA)−1=A−1B−1(BA)^{-1}=A^{-1}B^{-1}다. 식 (4)의 회전과 대칭으로 확인하면 A−1B−1A^{-1}B^{-1}이 다시 BABA와 같다. BABA가 대칭변환이라 자기 자신이 역행렬이기 때문이다. 자세한 조건은 선형변환의 역변환에서 다룬다.

합성변환의 흔한 오해

  • 행렬 곱 AB는 A를 먼저 적용한다 — 열벡터 관례에서는 입력 옆의 BB가 먼저다. 그림 1 아래의 ABv=(1,2)AB\mathbf v=(1,2)는 BB로 먼저 대칭한 결과다.
  • 행렬 곱의 크기는 양쪽 행 수로 정한다 — 중간에 맞아야 하는 수는 왼쪽의 열 수와 오른쪽의 행 수다. 결과에는 바깥의 행 수와 열 수가 남는다.
  • 결합법칙으로 A와 B의 자리를 바꿀 수 있다 — 식 (8)은 같은 C·B·A 순서에서 괄호만 옮겼다. 식 (5)처럼 자리를 바꾸면 다른 변환이 될 수 있다.

직접 해보기

  1. 먼저 2배 확대하고 다음 90° 반시계 회전하여 (1,−2)(1,-2)를 옮겨라. 순서를 바꾸어도 같은가?
  2. A=(1011)A=\begin{pmatrix}1&0\\1&1\end{pmatrix}, B=(1003)B=\begin{pmatrix}1&0\\0&3\end{pmatrix}에서 BABA, ABAB와 각각 (1,1)(1,1)에 적용한 결과를 구하라.
  3. AA가 2×3, BB가 4×2이면 BABA와 ABAB 가운데 어떤 곱이 정의되는가? 결과의 크기도 구하라.
  4. 좌표 맞바꾸기 AA, 가로만 2배 하는 BB, 90° 시계 회전 CC를 이 순서로 (2,−1)(2,-1)에 적용하라. 합성의 행렬은 어떤 순서인가?
  5. 직선 y=xy=x에 대한 대칭 다음 yy축 대칭을 한 합성의 행렬을 구하라. 어떤 회전인가?
답과 풀이
  1. 먼저 (2,−4)(2,-4), 이어 (4,2)(4,2)다. 반대 순서도 (2,1)(2,1) 다음 (4,2)(4,2)이므로 같다. 2I2I는 어떤 행렬과도 곱의 순서를 바꿀 수 있기 때문이다.
  2. BA=(1033)BA=\begin{pmatrix}1&0\\3&3\end{pmatrix}, AB=(1013)AB=\begin{pmatrix}1&0\\1&3\end{pmatrix}다. 결과는 각각 (1,6)(1,6), (1,4)(1,4)다.
  3. BABA의 안쪽 크기는 2로 같아 정의되고 결과는 4×3이다. ABAB에서는 안쪽 크기 3과 4가 달라 정의되지 않는다.
  4. (2,−1)→(−1,2)→(−2,2)→(2,2)(2,-1)\to(-1,2)\to(-2,2)\to(2,2)다. 입력에서 가까운 것부터 작용하므로 합성행렬은 CBACBA다.
  5. HyHy=x=(−1001)(0110)=(0−110)H_yH_{y=x}=\begin{pmatrix}-1&0\\0&1\end{pmatrix}\begin{pmatrix}0&1\\1&0\end{pmatrix}=\begin{pmatrix}0&-1\\1&0\end{pmatrix}로 90° 반시계 회전이다. 직선 y=xy=x(45°)에서 yy축(90°)까지 45°의 두 배다.

더 읽기

영상 노트

영상 노트
  • 00:00 두 장치의 순서를 식으로 기록하기
  • 01:00 식 (1)에서 입력 가까운 A부터 읽기
  • 02:00 식 (2)의 열 하나씩 보기와 식 (3)의 대입 합성
  • 03:30 그림 1·2와 회전·대칭의 다른 결과
  • 05:00 식 (6)과 그림 3의 두 거울
  • 06:00 식 (7)과 그림 4의 중간 차원 확인
  • 07:00 결합법칙과 교환법칙 구별

지도에서의 위치

이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안 (수식 5, 그림 1, 해보기 4)
  2. 2026-11-17 · 전수 검수 반영 — 합성 행렬이 BA인 이유(열 단위)·식 대입 합성·두 대칭의 합성은 회전·합성의 역변환 순서 보강, 질문의 예를 영벡터에서 영이 아닌 벡터로 교체, 두 회전의 교환 예를 서로 다른 각으로 교체, 대칭변환 행렬 용어와 그림 좌표 표기를 x·y로 통일, 해보기 5문항 (에이전트 수정, 그림 1→4)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림