마르코프 체인과 행렬은 현재 상태만으로 다음 상태의 확률이 정해지는 과정을 열확률 전이행렬과 확률벡터의 곱으로 나타낸다. 두 상태 예에서 두 단계 확률, 정상분포 (3/5, 2/5), 거듭제곱의 극한을 계산한다. 정상분포가 있어도 왕복하며 수렴하지 않는 반례를 구별한다.
두 상태 사이를 오가는 대상을 생각하자. 오늘 어느 상태에 있는지에 따라 내일 옮겨 갈 비율이 정해진다. 각 상태에서 출발하는 몫을 나눠 합하면 내일의 전체 분포를 얻는다.
오가는 두 자리가 상태이고, 옮겨 갈 비율이 전이확률이다. 예를 들어 상태 A를 맑음, B를 비로 읽으면 오늘 날씨만으로 내일 날씨의 확률이 정해지는 모형이 된다. 이 글의 수치는 계산을 위한 가상 값이다.
여기서는 전이 확률이 시간에 따라 바뀌지 않는 유한 상태 모형을 다룬다. 과거 경로를 모두 알아도 현재 상태가 주어졌을 때 다음 상태의 조건부확률은 더 달라지지 않는다는 가정이 마르코프 성질이다. 이것은 각 시점의 상태가 서로 독립이라는 뜻이 아니다.
마르코프 전이행렬은 출발 상태별 다음 상태 확률을 모은다
이 글은 확률을 열벡터로 놓고, P의 (i,j) 성분을 상태 j에서 상태 i로 가는 확률로 정한다. 모든 성분은 0 이상이고 각 열의 합은 1이다. 이를 열확률행렬이라고 한다.
pn+1=Ppn,pn=Pnp0(n=0,1,2,…).(1)
정의
기호
이름
원어
뜻
P
전이행렬
transition matrix
출발 상태를 열로 모은 정사각행렬
Pij
전이확률
transition probability
현재 j일 때 다음 i일 확률
pn
확률벡터
probability vector
성분이 0 이상이고 합이 1인 열벡터
π
정상분포
stationary distribution
Pπ=π인 확률벡터
n
시점
time step
0 이상의 정수
식 (1)의 i번째 성분은 ∑jPij(pn)j다. 현재 상태별 경우를 나누는 확률의 곱셈과 덧셈으로 얻는다. 각 항이 음이 아니고 전체 합은 ∑j(∑iPij)(pn)j=1이므로 다음 벡터도 확률벡터다. 행의 합이 1인 관례를 쓰는 자료에서는 그 행렬이 이 글 P의 전치이고, 벡터 방향과 곱셈 순서도 바뀌므로 섞어 쓰지 않는다.
마르코프 체인의 두 시점 뒤 확률은 어떻게 계산하나
현재 상태로 경우를 나누어 경로마다 확률을 곱하고 더한다. 상태 이름을 A,B로 정한 가상 모형에서 A에서는 다음에도 A일 확률이 4/5, B에서는 다음에 A일 확률이 3/10이라고 하자.
상태 전이도는 상태를 점으로 놓고, 한 시점 뒤에 옮겨 갈 상태마다 그 확률을 적은 화살표를 그린 그림이다. 제자리에 머무는 확률은 자기 자신으로 돌아오는 화살표로 적는다. 그림 1의 상태 전이도에서 A를 떠나는 두 화살표 4/5, 1/5가 P의 첫 열이고, B를 떠나는 3/10, 7/10이 둘째 열이다. 각 열의 합이 1인 것은 한 상태에서 나가는 확률을 모두 더했기 때문이다.
그림 1 두 상태 A,B의 상태 전이도와 같은 정보를 담은 전이행렬 P. 한 상태에서 나가는 화살표의 확률이 그 상태의 열이 되고, 각 열의 합은 1이다. figures/transition_diagram.py
두 번째 시점에 A일 확률은 첫 시점의 상태로 경우를 나눈다. A→A→A 경로는 (4/5)(4/5)=16/25이고, A→B→A 경로는 (1/5)(3/10)=3/50이다. 둘을 더하면 7/10이다(그림 2). 모든 출발자가 매번 정확히 이 비율로 나뉜다는 관측 자료가 아니라, 정해 둔 확률 모형의 분포 계산이다.
그림 2A에서 출발해 두 시점 뒤의 상태를 나눈 수형도. 가지의 확률을 곱한 네 경로 가운데 A로 끝나는 16/25와 3/50을 더하면 7/10이다. figures/two_step_tree.py
출발 상태를 정하지 않고 두 단계 전이확률을 한꺼번에 담은 것이 P2이다.
P2=(7/103/109/2011/20).(3)
P2의 (i,j) 성분은 현재 j일 때 두 시점 뒤 i일 확률이다. 첫 열 (7/10,3/10)이 위의 p2와 같고, 둘째 열은 B에서 출발한 경우다. 같은 이유로 Pn의 (i,j) 성분이 n단계 전이확률이다.
마르코프 체인의 정상분포는 연립방정식으로 구한다
정상분포는 한 번 더 전이해도 그대로인 확률벡터 π=(πA,πB)T다. Pπ=π를 (P−I)π=0으로 옮기면 두 식이 같은 식이 되므로, 합이 1이라는 조건을 함께 쓴다.
−51πA+103πB=0,πA+πB=1.(4)
첫 식에서 2πA=3πB이므로 πA:πB=3:2이다. 합이 1이 되도록 나누면 π=(3/5,2/5)T이다. 검산하면 (4/5)(3/5)+(3/10)(2/5)=12/25+3/25=3/5이다.
두 식이 같아지는 이유는 P의 각 열의 합이 1이라 P−I의 두 행을 더하면 영벡터가 되기 때문이다. 그래서 (P−I)π=0만으로는 비율만 정해지고, 크기는 합 1의 조건이 정한다.
Q. 마르코프 체인의 정상분포는 상태가 더 바뀌지 않는다는 뜻인가요?
아니다. 개별 대상이 아니라 분포가 그대로라는 뜻이다. π=(3/5,2/5)에서도 한 단계에 A에서 B로 가는 확률 흐름 (3/5)(1/5)=3/25와 B에서 A로 가는 흐름 (2/5)(3/10)=3/25가 있다. 두 흐름이 같아 분포가 유지될 뿐이다.
마르코프 전이행렬을 대각화하면 남는 성분과 줄어드는 성분이 나뉜다
det(tI−P)=t2−23t+21=(t−1)(t−1/2)이다. 고윳값 1에는 (3,2)T, 고윳값 1/2에는 (1,−1)T가 대응한다. 따라서 대각화의 기저행렬과 역행렬은 다음과 같다.
S=(321−1),S−1=51(121−3),P=S(1001/2)S−1.(5)
초기 벡터는 51(3,2)T+52(1,−1)T다. 행렬의 거듭제곱을 취하면 첫 성분은 남고 둘째 성분에만 (1/2)n이 곱해진다.
pn=(3/52/5)+(21)n(2/5−2/5)⟶π=(3/52/5).(6)
고윳값 1의 고유방향 (3,2)를 성분 합이 1이 되도록 나눈 것이 식 (4)의 정상분포와 같다. 두 성분의 합이 1인 확률벡터를 좌표평면의 점으로 찍으면 모두 한 선분 위에 놓인다. 그림 3에서 고유방향 (3,2)는 이 선분과 π에서 만나고, (1,−1)은 선분을 따라가는 방향이다.
그림 3 두 성분의 합이 1인 확률벡터가 놓이는 선분. (1,0)과 (0,1)에서 출발한 pn이 고유방향 (3,2) 위의 π=(3/5,2/5)로 다가가며, π까지의 거리가 단계마다 절반이 된다. figures/probability_segment.py
같은 계산을 두 표준기저 벡터에 하면 Pn 전체가 나온다. r=(1/2)n으로 쓰면 다음과 같다.
식 (7)에 n=2를 넣으면 r=1/4이고 식 (3)의 P2가 나온다. n이 커지면 r이 0에 가까워져 두 열이 모두 π에 가까워진다. 어느 상태에서 출발했든 오래 지나면 A일 확률이 3/5에 가까워진다는 뜻이다.
모이는 빠르기는 둘째 고윳값 1/2이 정한다. A에서 출발하면 A일 확률과 3/5의 차이가 52(1/2)n이라, 이 차이가 0.01보다 작아지는 첫 시점은 n=6이다(0.00625). 같은 규칙을 따르는 1000명이 모두 A에서 출발하면, 10시점 뒤 A에 있을 인원의 기댓값은 p10의 A 성분에 1000을 곱한 약 600.4명이다.
마르코프 체인은 정상분포가 있어도 수렴하지 않을 수 있다
T=(0110)는 (1/2,1/2)T를 그대로 둔다. 그러나 (1,0)T로 시작하면 (0,1),(1,0),…로 왕복한다. 고윳값 −1의 거듭제곱 (−1)n이 사라지지 않기 때문이다. 단위행렬은 모든 확률벡터를 그대로 두므로 시작과 무관한 유일한 정상분포도 없다.
그림 4의 위 패널은 식 (2)의 P에서 두 초기분포의 A 확률을 계산한 것이다. 그려진 몇 단계만으로 수렴을 증명하는 것이 아니라 식 (6)의 거듭제곱 극한이 이유다. 아래 패널은 T의 왕복이다.
그림 4 위: 식 (2)의 전이에서 두 시작 분포가 A의 확률 3/5로 접근한다. 아래: 두 상태를 반드시 맞바꾸는 전이는 (1,0)에서 시작하면 1과 0을 왕복한다. 선은 이산 시점을 잇는 안내선이다. figures/markov_convergence.py
두 상태에서 다음 조건은 모든 초기분포의 수렴을 보장한다. 양방향 이동 확률을 a,b라 하고 0<a<1, 0<b<1이라고 하자.
P=(1−aab1−b),π=a+b1(ba).(8)
첫 상태의 확률을 xn이라 하면 xn+1=(1−a−b)xn+b다. x∗=b/(a+b)를 빼면 xn+1−x∗=(1−a−b)(xn−x∗)이다. 따라서 xn−x∗=(1−a−b)n(x0−x∗)이고 ∣1−a−b∣<1이므로 0으로 간다. 이는 명시한 두 상태 조건에 대한 일반 이유이며, 모든 전이행렬이 대각화되거나 모든 마르코프 체인이 수렴한다는 뜻은 아니다.
핵심
마르코프 체인의 확률분포는 열확률 관례에서 pn=Pnp0로 변한다. 정상분포는 고윳값 1의 확률벡터이고, 모든 시작이 그곳으로 모이려면 나머지 고윳값의 거듭제곱이 사라져야 한다.
Q. 마르코프 체인은 독립 시행인가요?
일반적으로 아니다. 식 (2)에서는 다음에 A일 확률이 현재 A일 때 4/5, 현재 B일 때 3/10으로 다르다. 마르코프 성질은 현재를 알면 과거가 더 영향을 주지 않는다는 가정이며, 시점끼리 독립이라는 가정과 다르다.
Q. 마르코프 체인의 확률벡터는 합이 1이면 음수 성분도 되나요?
아니다. 확률이므로 음수는 허용되지 않는다. 예를 들어 (2,−1)T는 합이 1이어도 확률벡터가 아니다. 전이행렬도 열 합과 비음수 조건을 함께 검사한다.
Q. 마르코프 전이행렬은 행 합이 1인가요, 열 합이 1인가요?
어느 쪽 합이 1인지는 확률벡터를 놓는 약속에 따라 다르다. 이 글처럼 확률을 열벡터로 두고 Ppn을 계산하면 열 합이 1이고, 행벡터에 오른쪽에서 행렬을 곱하는 자료는 행 합이 1이다. 두 행렬은 서로의 전치라서, 식 (2)의 P를 전치하면 행 (4/5,1/5)와 (3/10,7/10)의 합이 각각 1이 된다.
마르코프 체인과 행렬의 흔한 오해
정상분포를 찾으면 어떤 시작도 그곳으로 간다. — 그림 4 아래의 왕복 전이는 정상분포 (1/2,1/2)가 있어도 (1,0)에서 시작하면 수렴하지 않는다.
두 단계 전이확률은 한 단계 확률의 제곱이다. — A에서 두 시점 뒤 A일 확률은 (4/5)2=16/25가 아니라 B를 거치는 경로 3/50을 더한 7/10이다. 식 (3)의 성분은 행렬 곱으로 구한다.
직접 해보기
식 (2)의 P에 p0=(1/2,1/2)T를 넣어 p1,p2를 구하라.
답 1
첫 성분은 2/5+3/20=11/20이므로 p1=(11/20,9/20)T다. 다시 곱하면 11/25+27/200=23/40이므로 p2=(23/40,17/40)T다. 각 합은 1이다.
P∗=(7/103/101/54/5)의 정상분포와 수렴 이유를 구하라.
답 2
식 (8)에서 a=3/10,b=1/5다. a+b=1/2이므로 정상분포는 (2/5,3/5)T다. 첫 성분과 2/5의 차이가 매번 1−a−b=1/2배가 되므로 모든 초기 확률벡터에서 수렴한다.
왕복 전이 T를 (1/2,1/2)T에서 시작하면 수렴하는가? (1,0)T의 경우와 비교하라.
답 3
첫 시작은 곱해도 그대로이므로 상수 수열로 수렴한다. 둘째 시작은 두 벡터를 왕복하여 수렴하지 않는다. 같은 전이에서도 초기분포를 지정한 주장과 모든 초기분포에 대한 주장은 다르다.
R=(4/53/101/57/10)를 이 글의 열확률 전이행렬로 쓸 수 있는가?
답 4
열 합이 11/10,9/10이므로 쓸 수 없다. 실제로 (1,0)T를 곱하면 합이 11/10인 벡터가 나온다. 행 합이 1인 자료의 행벡터 관례를 사용하려면 곱셈 방향을 달리해야 한다.
세 상태의 전이행렬 P3=1/21/201/41/21/401/21/2가 열확률행렬인지 확인하고, 첫 상태에서 출발한 p1,p2를 구하라. (1/4,1/2,1/4)T가 정상분포인지도 확인하라.
답 5
세 열의 합이 모두 1이고 성분이 음수가 아니므로 열확률행렬이다. p1=P3(1,0,0)T=(1/2,1/2,0)T이고, 다시 곱하면 p2=(3/8,1/2,1/8)T다. P3(1/4,1/2,1/4)T의 첫 성분은 1/8+1/8=1/4이고 나머지도 그대로라서 정상분포다.
2026-11-17 · 전수 검수 반영 — 상태 전이도와 행렬의 열, 두 단계 확률의 수형도와 두 번 곱한 전이행렬, 정상분포를 연립방정식으로 푸는 절, 거듭제곱의 닫힌 꼴과 확률벡터 선분 그림, 행 합 관례·확률 흐름 질문, 세 상태 연습 추가, 숫자 앞 띄어쓰기 정리 (에이전트 수정, 그림 1→4)
2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림
2026-11-17 · 용어집 정리 — 상태 전이도를 정의하는 문장 추가 (에이전트 수정)