주변화는 관심 없는 변수의 모든 값에 대해 결합 확률을 더하는 계산이다
주변화는 두 변수의 결합 확률에서 관심 없는 변수를, 그 변수의 모든 값에 대해 더해서 없애는 계산이다. 메일 100통에서 링크가 있는 38통은 스팸 24통과 정상 14통의 합이라, 링크가 있을 확률은 이다. 더하고 남은 한 변수의 확률을 주변 확률이라 한다(붙여서 '주변확률'로도 쓴다).
표에서는 한 열을 다 더하는 일이다. 그 합을 표의 가장자리(margin)에 적어서 주변(marginal) 확률이라 부른다(그림 1). AI에서는 베이즈 정리의 분모와, 보이지 않는 변수를 둔 모델의 확률이 이 합으로 정의된다.
는 자리에 올 수 있는 값을 차례로 넣어 더하라는 뜻이다. 여기서는 스팸()과 정상() 둘이라 이다.11 변수 와 값 를 나누면 다. 이 사이트는 둘 다 소문자로 쓴다.
결합 확률은 조건부 확률로 처럼 쪼갤 수 있다(확률의 곱셈정리). 스팸 30통 중 24통에 링크가 있으면 처럼 30이 약분된다. 그래서 식 (1)은 이렇게도 쓴다.
메일 표에서 , 이고 , 다. 그래서 로 식 (1)과 같다.
식 (1)을 합 규칙(sum rule), 식 (2)를 전확률 공식(law of total probability)이라고도 부른다. 두 식 모두 의 값들이 와 처럼 겹치지 않고(서로 배반) 빠짐없이 전체를 나눠야 한다. 겹치면 같은 메일을 두 번 센다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 사건·값 | event, value | 변수가 갖는 값. 이 페이지에서 는 '스팸이다', 는 '링크가 있다' | |
| 여사건 | complement | 가 아닌 것. 여기서는 정상 메일. | |
| 확률 | probability | 의 확률 | |
| 결합 확률 | joint probability | 와 가 함께 일어날 확률 | |
| 조건부 확률 | conditional probability | 가 일어났을 때 의 확률. 세로 막대 는 조건 표시이고 절댓값 의 막대가 아니다 | |
| 주변 확률 | marginal probability | 식 (1)로 를 없앤 의 확률 | |
| 합 | sum | 자리에 올 수 있는 모든 값(여기서는 스팸 와 정상 )을 차례로 넣어 더한다 |
기호와 표는 확률의 기초 허브를 따른다. 교과서 표기로는 식 (2)가 다.
figures/margin_table.py그림 1의 아래 가장자리에 적힌 두 값을 늘어놓은 가 의 주변 분포다.
주변 확률은 결합 확률을 관심 없는 변수의 모든 값에 대해 더한 값이라, 표에서는 한 줄을 다 더해 가장자리에 적은 합이다. 메일 표에서 링크가 있을 확률은 이다.
결합 확률·주변 확률·조건부 확률은 뭐가 달라?
결합 확률·주변 확률·조건부 확률은 세는 것(분자)과 나누는 것(분모)이 다르다. 메일 100통에서 결합 확률 는 , 주변 확률 는 , 조건부 확률 는 다. 결합 확률을 더하면 주변 확률이고, 결합 확률을 주변 확률로 나누면 조건부 확률이다.
주변 확률은 조건부 확률을 가중 평균한 값이다
식 (2)에서 조건부 확률에 곱하는 가중치 , 은 0 이상이고 합이 1이다. 그래서 주변 확률 은 조건부 확률 0.8과 0.2의 가중 평균이고, 두 값 사이에 있다. 그림 2에서 폭이 가중치, 높이가 조건부 확률이고, 넓이의 합 0.38이 폭 1인 막대의 높이다.
figures/weighted_bars.py가중치가 확률인 평균은 기댓값이라, 식 (2)는 '에 대한 의 기댓값'으로도 읽는다(기댓값에서 확률에 따른 가중평균을 다룬다).
주변 확률은 왜 조건부 확률 0.8과 0.2를 그냥 더한 값이 아닌가?
조건부 확률 0.8과 0.2는 전체 100통이 아니라 각 집단(스팸 30통, 정상 70통) 안에서 잰 비율이라, 집단의 비중 0.3과 0.7을 곱한 뒤에 더한다. 두 조건부 확률은 두고 스팸 비율 만 0과 1 사이에서 바꾸면, 그냥 더한 은 그대로다. 그러나 식 (2)의 는 0.2와 0.8 사이를 움직인다. 합이 1이 되는 것은 같은 조건 안의 이고, 이 예시는 도 0.2라서 그 합이 우연히 같은 로 보인다.
연속 변수에서는 주변화의 합이 적분이 된다
와 가 키·몸무게처럼 연속이면 식 (1)의 합이 적분이 된다. 적분 는 연속인 의 모든 값에 대해 더한다는 뜻이다. 이때 는 확률이 아니라 확률 밀도다. 연속인 값 하나가 정확히 나올 확률은 0이고, 밀도를 구간에서 적분해야 확률이 된다.22 Goodfellow 외는 질량 와 밀도 를 나누고, Bishop은 둘 다 로 쓴다. 이 사이트는 둘 다 다.
그림 3은 함께 움직이는 두 연속 변수의 결합 밀도를 등고선으로 그린 것이다. 세로선 위의 밀도를 에 대해 적분하면 위 곡선의 높이, 곧 에서의 주변 밀도 약 0.242가 된다. 모든 에서 이렇게 하면 표의 가장자리 합 대신 가장자리 곡선이 나온다.
figures/continuous_marginal.py변수가 셋 이상이면 — 없앨 변수마다 합을 한 번씩
세 변수 의 결합 확률에서 만 남기려면 와 둘 다에 대해 더한다.
와 가 두 값씩이면 하나에 더하는 항이 개다. 두 값을 갖는 변수 개를 없애면 개라, 10개면 1,024개다. 그래서 결합 확률이 조건부 확률의 곱으로 쪼개지는 모델에서는 합을 곱의 안쪽으로 옮겨 계산량을 줄인다. Bishop 8.4.1절이 사슬 모양 모델에서 이 방법을 보인다.
주변화는 어디서 쓰이나
- 베이즈 정리의 분모. 베이즈 정리의 분모 가 식 (2)다. 링크가 있을 때 스팸일 확률은 다.
- 언어 모델과의 대비. 다음 토큰 확률 는 모든 문맥에 대해 더한 주변 확률이 아니다. 주어진 문맥 (번째 토큰 보다 앞의 토큰들) 하나에 조건을 건 조건부 확률이다.
- 분할표의 가장자리. 조건부 확률 페이지의 분할표에서 행 합과 열 합이 주변 확률이다. 확률의 연쇄 법칙 페이지의 공 상자에서 '둘째가 파랑'의 확률을 두 갈래로 더하는 것도 주변화다.
- 잠재 변수 모델. 가우시안 혼합 모델(종 모양 분포 여럿을 섞은 모델)과 VAE는 데이터의 확률을 보이지 않는 변수(잠재 변수)에 대해 주변화해 정의한다. VAE는 그 적분(식 (3))이 어려워 의 하한(ELBO)을 대신 키운다.
- 로그 공간의 합. 확률이 아주 작으면 식 (2)를 로 바꿔
torch.logsumexp로 계산한다. 음성 인식의 CTC 손실(torch.nn.CTCLoss)은 정답 글자열로 줄어드는 모든 정렬(프레임마다 글자를 붙인 열)에 대해 이렇게 확률을 더한다.
더 읽기
- Deep Learning, 3장 Probability and Information Theory — Goodfellow·Bengio·Courville, 2016. 3.4절(Marginal Probability)이 합 규칙과 연속 변수의 적분 꼴을 적고, 이름이 종이의 가장자리에 합을 적던 데서 왔다고 설명한다. '주변화는 …' §와 '연속 변수에서는 주변화의 합이 적분이 된다' §가 기댄다.
- Pattern Recognition and Machine Learning — Christopher M. Bishop, 2006. 1.2절이 합 규칙(sum rule)과 곱 규칙(product rule)을 격자의 칸 수에서 끌어내고, 9.2절이 가우시안 혼합의 확률을 잠재 변수에 대한 합으로 쓴다. 8.4.1절은 사슬 모양 모델에서 합의 순서를 바꿔 주변 확률을 효율적으로 구한다('변수가 셋 이상이면' 펼침). 식 (1)·(2), '주변 확률은 조건부 확률을 가중 평균한 값이다' §, '주변화는 어디서 쓰이나' §의 잠재 변수 모델이 기댄다.
- Auto-Encoding Variational Bayes — Kingma·Welling, 2014. ICLR. 잠재 변수에 대한 적분(식 (3))을 직접 계산하기 어려울 때 그 로그의 하한을 키워 학습하는 VAE를 제안했다. '주변화는 어디서 쓰이나' §의 VAE 문장이 기댄다.
- Connectionist Temporal Classification — Graves·Fernández·Gomez·Schmidhuber, 2006. ICML. 정답 라벨 열로 줄어드는 모든 정렬의 확률을 더하는 CTC 손실을 제안했다. '주변화는 어디서 쓰이나' §의 CTC 문장이 기댄다. 로그 공간 계산은 PyTorch 구현의 일이다.
- Foundations of Large Language Models, 3.2.4절 Ensembling · 6.3.2.2절 Self-Consistency — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 3.2.4절(원서 pp. 129–133)의 식 (3.9)는 프롬프트 를 잠재 변수로 보고 로 주변화한 뒤(기호는 교재의 것이다), 이 적분은 직접 계산하기 어려워 유한한 개수의 프롬프트로 몬테카를로 근사한다고 적는다. 6.3.2.2절(원서 pp. 254–255)의 자기 일관성은 추론 경로를 여럿 샘플링하고 최종 답으로 다수결해 경로를 주변화해 없앤다. '주변화는 어디서 쓰이나' §의 잠재 변수 모델 항목을 LLM 쪽에서 보는 예다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 3, 그림 2, 코드랩 0)
- 2026-11-05 · 검수 — 더 읽기 URL 4개(DL 3.4절·Bishop MSR 페이지·arXiv·Graves 2006 DOI) 확인, Wikidata Q670653, 조건부 확률 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
- 2026-11-13 · 독자 패널 리뷰 반영 — 핵심 상자와 '결합·주변·조건부 확률은 뭐가 달라' 질문 추가, 합 기호 읽는 법을 식 (1) 바로 아래로, 성질 §를 주장문 제목 둘로 나눔, 쓰임새 순서와 낱말 풀이, hook에 주변 확률
- 2026-11-16 · 확률·통계 교과 글 작성에 맞춰 예정 안내를 실제 개념 링크로 갱신 (에이전트 수정)
- 2026-11-17 · 전수 검수 반영 — 연속 변수의 결합 밀도와 주변 밀도 그림, 변수가 셋 이상일 때의 합으로 남은 질문 답, 확률의 곱셈정리 링크 (에이전트 수정, 그림 2→3)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림