확률·통계주변화#012

주변화

Marginalization

주변화는 결합 확률을 관심 없는 변수의 모든 값에 대해 더해 주변 확률을 얻는 계산이다(합 규칙·전확률 공식). 메일 100통에서 링크가 있을 확률은 스팸 쪽 0.24와 정상 쪽 0.14를 더한 0.38이다. 조건부 확률 0.8과 0.2의 가중치 없는 평균 0.5와 왜 다른지도 본다.

읽는 시간
약 5분
선수 개념
조건부 확률

주변화는 관심 없는 변수의 모든 값에 대해 결합 확률을 더하는 계산이다

주변화는 두 변수의 결합 확률에서 관심 없는 변수를, 그 변수의 모든 값에 대해 더해서 없애는 계산이다. 메일 100통에서 링크가 있는 38통은 스팸 24통과 정상 14통의 합이라, 링크가 있을 확률은 0.24+0.14=0.380.24 + 0.14 = 0.38이다. 더하고 남은 한 변수의 확률을 주변 확률이라 한다(붙여서 '주변확률'로도 쓴다).

표에서는 한 열을 다 더하는 일이다. 그 합을 표의 가장자리(margin)에 적어서 주변(marginal) 확률이라 부른다(그림 1). AI에서는 베이즈 정리의 분모와, 보이지 않는 변수를 둔 모델의 확률이 이 합으로 정의된다.

Pr⁡(b)=∑aPr⁡(a,b)(1)\Pr(b) = \sum_a \Pr(a, b) \tag{1}

∑a\sum_a는 aa 자리에 올 수 있는 값을 차례로 넣어 더하라는 뜻이다. 여기서는 스팸(aa)과 정상(¬a\lnot a) 둘이라 Pr⁡(b)=Pr⁡(a,b)+Pr⁡(¬a,b)=0.24+0.14=0.38\Pr(b) = \Pr(a, b) + \Pr(\lnot a, b) = 0.24 + 0.14 = 0.38이다.11 변수 AA와 값 aa를 나누면 Pr⁡(B=b)=∑aPr⁡(A=a, B=b)\Pr(B = b) = \sum_{a} \Pr(A = a,\ B = b)다. 이 사이트는 둘 다 소문자로 쓴다.

결합 확률은 조건부 확률로 Pr⁡(a,b)=Pr⁡(a) Pr⁡(b∣a)\Pr(a, b) = \Pr(a)\,\Pr(b \mid a)처럼 쪼갤 수 있다(확률의 곱셈정리). 스팸 30통 중 24통에 링크가 있으면 30100×2430=24100\tfrac{30}{100} \times \tfrac{24}{30} = \tfrac{24}{100}처럼 30이 약분된다. 그래서 식 (1)은 이렇게도 쓴다.

Pr⁡(b)=∑aPr⁡(a) Pr⁡(b∣a)(2)\Pr(b) = \sum_a \Pr(a)\, \Pr(b \mid a) \tag{2}

메일 표에서 Pr⁡(a)=0.3\Pr(a) = 0.3, Pr⁡(b∣a)=24/30=0.8\Pr(b \mid a) = 24/30 = 0.8이고 Pr⁡(¬a)=0.7\Pr(\lnot a) = 0.7, Pr⁡(b∣¬a)=14/70=0.2\Pr(b \mid \lnot a) = 14/70 = 0.2다. 그래서 Pr⁡(b)=0.3×0.8+0.7×0.2=0.24+0.14=0.38\Pr(b) = 0.3 \times 0.8 + 0.7 \times 0.2 = 0.24 + 0.14 = 0.38로 식 (1)과 같다.

식 (1)을 합 규칙(sum rule), 식 (2)를 전확률 공식(law of total probability)이라고도 부른다. 두 식 모두 aa의 값들이 aa와 ¬a\lnot a처럼 겹치지 않고(서로 배반) 빠짐없이 전체를 나눠야 한다. 겹치면 같은 메일을 두 번 센다.

정의
기호이름원어뜻
a,ba, b사건·값event, value변수가 갖는 값. 이 페이지에서 aa는 '스팸이다', bb는 '링크가 있다'
¬a\lnot a여사건complementaa가 아닌 것. 여기서는 정상 메일. Pr⁡(¬a)=1−Pr⁡(a)\Pr(\lnot a) = 1 - \Pr(a)
Pr⁡(a)\Pr(a)확률probabilityaa의 확률
Pr⁡(a,b)\Pr(a, b)결합 확률joint probabilityaa와 bb가 함께 일어날 확률
Pr⁡(b∣a)\Pr(b \mid a)조건부 확률conditional probabilityaa가 일어났을 때 bb의 확률. 세로 막대 ∣\mid는 조건 표시이고 절댓값 ∣−3∣\lvert -3 \rvert의 막대가 아니다
Pr⁡(b)\Pr(b)주변 확률marginal probability식 (1)로 aa를 없앤 bb의 확률
∑a\sum_a합sumaa 자리에 올 수 있는 모든 값(여기서는 스팸 aa와 정상 ¬a\lnot a)을 차례로 넣어 더한다

기호와 표는 확률의 기초 허브를 따른다. 교과서 표기로는 식 (2)가 P(B)=P(A) P(B∣A)+P(AC) P(B∣AC)P(B) = P(A)\,P(B \mid A) + P(A^C)\,P(B \mid A^C)다.

메일 100통을 스팸 여부(a, lnot a)와 링크 여부(b, lnot b)로 나눈 결합 확률 표. 행 합이 오른쪽 가장자리의 Pr(a) = 0.30·Pr(lnot a) = 0.70, 열 합이 아래 가장자리의 Pr(b) = 0.38·Pr(lnot b) = 0.62다. 강조한 b 열이 식 (1)의 합이다.
그림 1 메일 100통을 스팸 여부(aa, ¬a\lnot a)와 링크 여부(bb, ¬b\lnot b)로 나눈 결합 확률 표. 행 합이 오른쪽 가장자리의 Pr⁡(a)=0.30\Pr(a) = 0.30·Pr⁡(¬a)=0.70\Pr(\lnot a) = 0.70, 열 합이 아래 가장자리의 Pr⁡(b)=0.38\Pr(b) = 0.38·Pr⁡(¬b)=0.62\Pr(\lnot b) = 0.62다. 강조한 bb 열이 식 (1)의 합이다. figures/margin_table.py

그림 1의 아래 가장자리에 적힌 두 값을 늘어놓은 (0.38,0.62)(0.38, 0.62)가 bb의 주변 분포다.

핵심

주변 확률은 결합 확률을 관심 없는 변수의 모든 값에 대해 더한 값이라, 표에서는 한 줄을 다 더해 가장자리에 적은 합이다. 메일 표에서 링크가 있을 확률은 0.24+0.14=0.380.24 + 0.14 = 0.38이다.

결합 확률·주변 확률·조건부 확률은 뭐가 달라?

결합 확률·주변 확률·조건부 확률은 세는 것(분자)과 나누는 것(분모)이 다르다. 메일 100통에서 결합 확률 Pr⁡(a,b)\Pr(a, b)는 24/100=0.2424/100 = 0.24, 주변 확률 Pr⁡(b)\Pr(b)는 38/100=0.3838/100 = 0.38, 조건부 확률 Pr⁡(a∣b)\Pr(a \mid b)는 24/38≈0.63224/38 \approx 0.632다. 결합 확률을 더하면 주변 확률이고, 결합 확률을 주변 확률로 나누면 조건부 확률이다.

주변 확률은 조건부 확률을 가중 평균한 값이다

식 (2)에서 조건부 확률에 곱하는 가중치 Pr⁡(a)=0.3\Pr(a) = 0.3, Pr⁡(¬a)=0.7\Pr(\lnot a) = 0.7은 0 이상이고 합이 1이다. 그래서 주변 확률 Pr⁡(b)=0.38\Pr(b) = 0.38은 조건부 확률 0.8과 0.2의 가중 평균이고, 두 값 사이에 있다. 그림 2에서 폭이 가중치, 높이가 조건부 확률이고, 넓이의 합 0.38이 폭 1인 막대의 높이다.

식 (2)를 넓이로 그린 것. 폭은 Pr(a)와 Pr(lnot a), 높이는 Pr(b | a)와 Pr(b | lnot a)다. 넓이 0.24와 0.14의 합 0.38(파선)이 Pr(b)이고, 가중치 없는 평균 0.5(점선)와 다르다.
그림 2 식 (2)를 넓이로 그린 것. 폭은 Pr⁡(a)\Pr(a)와 Pr⁡(¬a)\Pr(\lnot a), 높이는 Pr⁡(b∣a)\Pr(b \mid a)와 Pr⁡(b∣¬a)\Pr(b \mid \lnot a)다. 넓이 0.24와 0.14의 합 0.38(파선)이 Pr⁡(b)\Pr(b)이고, 가중치 없는 평균 0.5(점선)와 다르다. figures/weighted_bars.py

가중치가 확률인 평균은 기댓값이라, 식 (2)는 'aa에 대한 Pr⁡(b∣a)\Pr(b \mid a)의 기댓값'으로도 읽는다(기댓값에서 확률에 따른 가중평균을 다룬다).

주변 확률은 왜 조건부 확률 0.8과 0.2를 그냥 더한 값이 아닌가?

조건부 확률 0.8과 0.2는 전체 100통이 아니라 각 집단(스팸 30통, 정상 70통) 안에서 잰 비율이라, 집단의 비중 0.3과 0.7을 곱한 뒤에 더한다. 두 조건부 확률은 두고 스팸 비율 Pr⁡(a)\Pr(a)만 0과 1 사이에서 바꾸면, 그냥 더한 0.8+0.2=1.00.8 + 0.2 = 1.0은 그대로다. 그러나 식 (2)의 Pr⁡(b)=0.8 Pr⁡(a)+0.2 (1−Pr⁡(a))=0.2+0.6 Pr⁡(a)\Pr(b) = 0.8\,\Pr(a) + 0.2\,(1 - \Pr(a)) = 0.2 + 0.6\,\Pr(a)는 0.2와 0.8 사이를 움직인다. 합이 1이 되는 것은 같은 조건 안의 Pr⁡(b∣a)+Pr⁡(¬b∣a)\Pr(b \mid a) + \Pr(\lnot b \mid a)이고, 이 예시는 Pr⁡(¬b∣a)=6/30\Pr(\lnot b \mid a) = 6/30도 0.2라서 그 합이 우연히 같은 0.8+0.20.8 + 0.2로 보인다.

연속 변수에서는 주변화의 합이 적분이 된다

aa와 bb가 키·몸무게처럼 연속이면 식 (1)의 합이 적분이 된다. 적분 ∫⋯da\int \cdots da는 연속인 aa의 모든 값에 대해 더한다는 뜻이다. 이때 Pr⁡\Pr는 확률이 아니라 확률 밀도다. 연속인 값 하나가 정확히 나올 확률은 0이고, 밀도를 구간에서 적분해야 확률이 된다.22 Goodfellow 외는 질량 PP와 밀도 pp를 나누고, Bishop은 둘 다 pp로 쓴다. 이 사이트는 둘 다 Pr⁡\Pr다.

Pr⁡(b)=∫Pr⁡(a,b) da(3)\Pr(b) = \int \Pr(a, b)\, da \tag{3}

그림 3은 함께 움직이는 두 연속 변수의 결합 밀도를 등고선으로 그린 것이다. 세로선 b=1b = 1 위의 밀도를 aa에 대해 적분하면 위 곡선의 높이, 곧 b=1b = 1에서의 주변 밀도 약 0.242가 된다. 모든 bb에서 이렇게 하면 표의 가장자리 합 대신 가장자리 곡선이 나온다.

두 연속 변수 a, b의 결합 밀도 Pr(a, b) 등고선(아래)과 주변 밀도 Pr(b)(위). 강조한 세로선 b = 1 위의 밀도를 a에 대해 적분하면 위 곡선의 높이 약 0.242가 된다. 평균 0, 분산 1, 상관계수 0.6인 이변량 정규분포를 예로 들었다.
그림 3 두 연속 변수 a,ba, b의 결합 밀도 Pr⁡(a,b)\Pr(a, b) 등고선(아래)과 주변 밀도 Pr⁡(b)\Pr(b)(위). 강조한 세로선 b=1b = 1 위의 밀도를 aa에 대해 적분하면 위 곡선의 높이 약 0.242가 된다. 평균 0, 분산 1, 상관계수 0.6인 이변량 정규분포를 예로 들었다. figures/continuous_marginal.py
변수가 셋 이상이면 — 없앨 변수마다 합을 한 번씩

세 변수 a,b,ca, b, c의 결합 확률에서 bb만 남기려면 aa와 cc 둘 다에 대해 더한다.

Pr⁡(b)=∑a∑cPr⁡(a,b,c)\Pr(b) = \sum_a \sum_c \Pr(a, b, c)

aa와 cc가 두 값씩이면 Pr⁡(b)\Pr(b) 하나에 더하는 항이 2×2=42 \times 2 = 4개다. 두 값을 갖는 변수 nn개를 없애면 2n2^n개라, 10개면 1,024개다. 그래서 결합 확률이 조건부 확률의 곱으로 쪼개지는 모델에서는 합을 곱의 안쪽으로 옮겨 계산량을 줄인다. Bishop 8.4.1절이 사슬 모양 모델에서 이 방법을 보인다.

주변화는 어디서 쓰이나

  • 베이즈 정리의 분모. 베이즈 정리의 분모 Pr⁡(b)\Pr(b)가 식 (2)다. 링크가 있을 때 스팸일 확률은 0.24/0.38≈0.6320.24 / 0.38 \approx 0.632다.
  • 언어 모델과의 대비. 다음 토큰 확률 Pr⁡(xi∣x<i)\Pr(x_i \mid x_{<i})는 모든 문맥에 대해 더한 주변 확률이 아니다. 주어진 문맥 x<ix_{<i}(ii번째 토큰 xix_i보다 앞의 토큰들) 하나에 조건을 건 조건부 확률이다.
  • 분할표의 가장자리. 조건부 확률 페이지의 분할표에서 행 합과 열 합이 주변 확률이다. 확률의 연쇄 법칙 페이지의 공 상자에서 '둘째가 파랑'의 확률을 두 갈래로 더하는 것도 주변화다.
  • 잠재 변수 모델. 가우시안 혼합 모델(종 모양 분포 여럿을 섞은 모델)과 VAE는 데이터의 확률을 보이지 않는 변수(잠재 변수)에 대해 주변화해 정의한다. VAE는 그 적분(식 (3))이 어려워 log⁡Pr⁡(b)\log \Pr(b)의 하한(ELBO)을 대신 키운다.
  • 로그 공간의 합. 확률이 아주 작으면 식 (2)를 log⁡Pr⁡(b)=logsumexp⁡a [log⁡Pr⁡(a)+log⁡Pr⁡(b∣a)]\log \Pr(b) = \operatorname{logsumexp}_a\,[\log \Pr(a) + \log \Pr(b \mid a)]로 바꿔 torch.logsumexp로 계산한다. 음성 인식의 CTC 손실(torch.nn.CTCLoss)은 정답 글자열로 줄어드는 모든 정렬(프레임마다 글자를 붙인 열)에 대해 이렇게 확률을 더한다.

더 읽기

  • Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.4절(Marginal Probability)이 합 규칙과 연속 변수의 적분 꼴을 적고, 이름이 종이의 가장자리에 합을 적던 데서 왔다고 설명한다. '주변화는 …' §와 '연속 변수에서는 주변화의 합이 적분이 된다' §가 기댄다.
  • Pattern Recognition and Machine Learning — Christopher M. Bishop, 2006. 1.2절이 합 규칙(sum rule)과 곱 규칙(product rule)을 격자의 칸 수에서 끌어내고, 9.2절이 가우시안 혼합의 확률을 잠재 변수에 대한 합으로 쓴다. 8.4.1절은 사슬 모양 모델에서 합의 순서를 바꿔 주변 확률을 효율적으로 구한다('변수가 셋 이상이면' 펼침). 식 (1)·(2), '주변 확률은 조건부 확률을 가중 평균한 값이다' §, '주변화는 어디서 쓰이나' §의 잠재 변수 모델이 기댄다.
  • Auto-Encoding Variational Bayes — Kingma·Welling, 2014. ICLR. 잠재 변수에 대한 적분(식 (3))을 직접 계산하기 어려울 때 그 로그의 하한을 키워 학습하는 VAE를 제안했다. '주변화는 어디서 쓰이나' §의 VAE 문장이 기댄다.
  • Connectionist Temporal Classification — Graves·Fernández·Gomez·Schmidhuber, 2006. ICML. 정답 라벨 열로 줄어드는 모든 정렬의 확률을 더하는 CTC 손실을 제안했다. '주변화는 어디서 쓰이나' §의 CTC 문장이 기댄다. 로그 공간 계산은 PyTorch 구현의 일이다.
  • Foundations of Large Language Models, 3.2.4절 Ensembling · 6.3.2.2절 Self-Consistency — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 3.2.4절(원서 pp. 129–133)의 식 (3.9)는 프롬프트 xx를 잠재 변수로 보고 Pr⁡(y∣p)=∫Pr⁡(y∣x)Pr⁡(x∣p) dx\Pr(y \mid p) = \int \Pr(y \mid x) \Pr(x \mid p)\, dx로 주변화한 뒤(기호는 교재의 것이다), 이 적분은 직접 계산하기 어려워 유한한 개수의 프롬프트로 몬테카를로 근사한다고 적는다. 6.3.2.2절(원서 pp. 254–255)의 자기 일관성은 추론 경로를 여럿 샘플링하고 최종 답으로 다수결해 경로를 주변화해 없앤다. '주변화는 어디서 쓰이나' §의 잠재 변수 모델 항목을 LLM 쪽에서 보는 예다.

지도에서의 위치

완성예정허브(일족)이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 3, 그림 2, 코드랩 0)
  2. 2026-11-05 · 검수 — 더 읽기 URL 4개(DL 3.4절·Bishop MSR 페이지·arXiv·Graves 2006 DOI) 확인, Wikidata Q670653, 조건부 확률 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  4. 2026-11-13 · 독자 패널 리뷰 반영 — 핵심 상자와 '결합·주변·조건부 확률은 뭐가 달라' 질문 추가, 합 기호 읽는 법을 식 (1) 바로 아래로, 성질 §를 주장문 제목 둘로 나눔, 쓰임새 순서와 낱말 풀이, hook에 주변 확률
  5. 2026-11-16 · 확률·통계 교과 글 작성에 맞춰 예정 안내를 실제 개념 링크로 갱신 (에이전트 수정)
  6. 2026-11-17 · 전수 검수 반영 — 연속 변수의 결합 밀도와 주변 밀도 그림, 변수가 셋 이상일 때의 합으로 남은 질문 답, 확률의 곱셈정리 링크 (에이전트 수정, 그림 2→3)
  7. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림