식 (4)의 두 행렬로 입력 (2,1)을 옮긴다. A를 거치면 (−1,2), 이어 B를 거치면 (−1,−2)다. 순서를 바꾸면 먼저 B가 (2,−1)을 만들고, A가 이것을 (1,2)로 보낸다.
BA=(0−1−10),AB=(0110).(5)
예를 들어 BA의 둘째 행 첫째 성분은 0×0+(−1)×1=−1이다. AB의 같은 자리는 1×1+0×0=1이다. 이 한 칸의 부호부터 달라져 같은 행렬이 될 수 없다.
그림 1 입력 v=(2,1)을 두 순서로 변환한다. 위는 A로 회전한 뒤 B로 대칭하여 BAv=(−1,−2), 아래는 B로 대칭한 뒤 A로 회전하여 ABv=(1,2)가 된다. 각 패널의 점선은 중간 결과를 표시한다. figures/composition_order.py
식 (5)의 두 행렬은 이미 아는 변환이다. BA는 직선 y=−x에 대한 대칭, AB는 직선 y=x에 대한 대칭의 행렬과 같다. 그림 2처럼 한 삼각형 전체가 서로 다른 거울에 비친 자리로 간다.
그림 2 굵은 선 삼각형을 BA와 AB로 옮긴 상. BA의 상(점선)은 직선 y=−x에 대해, AB의 상은 직선 y=x에 대해 원래 삼각형과 대칭이다. figures/composite_reflections.py
모든 두 변환의 순서가 반드시 다른 결과를 내는 것은 아니다. 원점 중심 균일 확대 kI는 어떤 행렬 M과도 (kI)M=kM=M(kI)이다. 행렬 곱의 교환법칙이 일반 법칙은 아니라는 뜻이지, AB=BA인 행렬이 없다는 뜻은 아니다.
두 회전끼리도 순서를 바꿔도 같다. 회전의 합성은 회전각이 더해지는 것이고, 각의 덧셈은 순서를 바꿔도 같기 때문이다. 30° 회전행렬 21(31−13)과 60° 회전행렬 21(13−31)은 어느 순서로 곱해도 41(04−40), 곧 식 (4)의 90° 회전 A다.
Q. 한 벡터에서 AB와 BA의 결과가 같으면 두 행렬도 같은가?
아니다. 한 벡터에서 같아도 다른 벡터에서는 다를 수 있다. 가로 2배 (2001)와 층밀림 (1011)의 두 곱은 (1,0)을 모두 (2,0)으로 보내지만, (0,1)은 (2,1)과 (1,1)로 보낸다. 행렬이 같은지 보려면 모든 표준기저의 결과, 즉 모든 열을 비교한다.
두 대칭변환을 합성하면 회전변환이 된다
x축 대칭 다음 직선 y=x 대칭을 하면 원점 중심 90° 회전이 된다. 두 거울 사이의 각 45°의 두 배만큼 돈다.
Hy=xHx=(0110)(100−1)=(01−10)=A.(6)
그림 3에서 (2,1)은 Hx로 (2,−1)이 되고, Hy=x로 (−1,2)가 된다. 처음과 마지막 사이의 각은 90°이고, 식 (4)의 회전 A가 낸 결과와 같다. 순서를 바꾼 HxHy=x는 −90∘ 회전이다.
그림 3 먼저 x축을 거울로, 다음에 직선 y=x를 거울로 삼아 v=(2,1)을 두 번 대칭이동한 과정. 두 거울 사이의 각은 45°이고, 처음과 마지막 벡터 사이의 각은 그 두 배인 90°다. figures/two_reflections.py
대칭은 꼭짓점의 돌아가는 방향을 뒤집는다. 두 번 뒤집으면 방향이 원래대로 돌아오고 길이도 그대로이므로 회전이 남는다. 대칭과 회전을 한 번씩 합성하면 방향이 한 번만 뒤집혀 회전이 될 수 없다. 식 (5)의 BA와 AB도 회전이 아니라 대칭이었다.
두 대칭축의 각으로 일반화하면
x축과 각 α를 이루는 축에 대한 대칭변환의 행렬은 (cos2αsin2αsin2α−cos2α)다(평면의 대칭변환과 닮음변환의 각 꼴). 각 α인 축의 대칭 다음 각 β인 축의 대칭을 곱하면, 덧셈정리로 성분이 cos2(β−α)와 sin2(β−α)로 정리된다. 따라서 합성은 2(β−α)만큼의 회전이다. α=0, β=45∘이면 식 (6)의 90°다.
중간 결과의 성분 수가 다음 입력과 맞아야 한다
A가 p×n이면 n성분 입력을 p성분 결과로 보낸다. 다음 행렬 B는 그 p성분을 입력받아야 하므로 열 수가 p여야 한다. B가 m×p이면 합성 BA는 m×n이다.
A=101011,B=(100110),BA=(2011).(7)
식 (7)에서 (1,2)는 먼저 (1,2,3)이 되고, 다음에 (1+3,2)=(4,2)가 된다. 합성행렬을 한 번 곱해도 (2×1+1×2,2)=(4,2)다. 그림 4처럼 평면→공간→평면의 두 단계를 2×2 행렬 하나로 나타낸 셈이다.
그림 4 식 (7)의 두 단계를 크기와 함께 그린 사슬. A(3×2)는 평면의 (1,2)를 공간의 (1,2,3)으로, B(2×3)는 이것을 평면의 (4,2)로 보내고, 아래 화살표의 BA(2×2)가 같은 일을 한 번에 한다. figures/dimension_chain.py
이 예에서는 반대 곱 AB도 계산할 수 있지만 크기는 3×3이다. 그것은 공간→평면→공간으로 가는 다른 변환이므로 (1,2)를 그대로 입력할 수 없다. 곱을 비교할 때는 값뿐 아니라 어느 공간의 입력을 받는지도 확인한다.
세 변환에서는 괄호를 옮겨도 순서는 유지된다
세 변환을 A, B, C 순서로 적용하면 C(B(Ax))다. 중간 두 단계를 어느 쪽부터 묶어 계산하든 입력이 통과하는 순서는 같다.
C(BA)=(CB)A.(8)
식 (8)은 크기가 맞는 행렬의 결합법칙이다. 어느 입력에도 같은 결과를 주며, 특히 모든 표준기저에 같은 결과를 주므로 두 행렬의 각 열이 같다. 괄호를 바꾸는 결합법칙과 문자 순서를 바꾸는 교환법칙을 구별해야 한다.
핵심
선형변환의 합성에서 열벡터에 A를 먼저, B를 다음에 적용한 변환의 행렬은 BA다. 순서를 바꾸면 회전과 대칭처럼 다른 변환이 될 수 있으므로 순서와 중간 공간의 차원을 함께 확인한다.
Q. 같은 변환을 여러 번 적용하면 어떻게 쓰나?
같은 정사각행렬 A를 두 번 적용하면 A2, 세 번이면 A3이다. 출력을 다시 넣어야 하므로 입력과 출력 공간이 같아야 한다. 대칭은 Hx2=I로 두 번에 제자리이고, 식 (4)의 90° 회전 A는 A2=−I, A4=I로 네 번에 제자리다.
Q. 합성변환의 역변환은 어떤 순서로 구하나?
합성변환 S∘T의 역변환은 나중에 한 것부터 되돌리는 T−1∘S−1이고, 행렬로는 (BA)−1=A−1B−1다. 식 (4)의 회전과 대칭으로 확인하면 A−1B−1이 다시 BA와 같다. BA가 대칭변환이라 자기 자신이 역행렬이기 때문이다. 자세한 조건은 선형변환의 역변환에서 다룬다.
합성변환의 흔한 오해
행렬 곱 AB는 A를 먼저 적용한다 — 열벡터 관례에서는 입력 옆의 B가 먼저다. 그림 1 아래의 ABv=(1,2)는 B로 먼저 대칭한 결과다.
행렬 곱의 크기는 양쪽 행 수로 정한다 — 중간에 맞아야 하는 수는 왼쪽의 열 수와 오른쪽의 행 수다. 결과에는 바깥의 행 수와 열 수가 남는다.
결합법칙으로 A와 B의 자리를 바꿀 수 있다 — 식 (8)은 같은 C·B·A 순서에서 괄호만 옮겼다. 식 (5)처럼 자리를 바꾸면 다른 변환이 될 수 있다.
직접 해보기
먼저 2배 확대하고 다음 90° 반시계 회전하여 (1,−2)를 옮겨라. 순서를 바꾸어도 같은가?
A=(1101), B=(1003)에서 BA, AB와 각각 (1,1)에 적용한 결과를 구하라.
A가 2×3, B가 4×2이면 BA와 AB 가운데 어떤 곱이 정의되는가? 결과의 크기도 구하라.
좌표 맞바꾸기 A, 가로만 2배 하는 B, 90° 시계 회전 C를 이 순서로 (2,−1)에 적용하라. 합성의 행렬은 어떤 순서인가?
직선 y=x에 대한 대칭 다음 y축 대칭을 한 합성의 행렬을 구하라. 어떤 회전인가?
답과 풀이
먼저 (2,−4), 이어 (4,2)다. 반대 순서도 (2,1) 다음 (4,2)이므로 같다. 2I는 어떤 행렬과도 곱의 순서를 바꿀 수 있기 때문이다.
BA=(1303), AB=(1103)다. 결과는 각각 (1,6), (1,4)다.
BA의 안쪽 크기는 2로 같아 정의되고 결과는 4×3이다. AB에서는 안쪽 크기 3과 4가 달라 정의되지 않는다.
(2,−1)→(−1,2)→(−2,2)→(2,2)다. 입력에서 가까운 것부터 작용하므로 합성행렬은 CBA다.
HyHy=x=(−1001)(0110)=(01−10)로 90° 반시계 회전이다. 직선 y=x(45°)에서 y축(90°)까지 45°의 두 배다.
2026-11-17 · 전수 검수 반영 — 합성 행렬이 BA인 이유(열 단위)·식 대입 합성·두 대칭의 합성은 회전·합성의 역변환 순서 보강, 질문의 예를 영벡터에서 영이 아닌 벡터로 교체, 두 회전의 교환 예를 서로 다른 각으로 교체, 대칭변환 행렬 용어와 그림 좌표 표기를 x·y로 통일, 해보기 5문항 (에이전트 수정, 그림 1→4)
2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림