직관 — 1미터 자를 확률만큼의 칸으로 나눈다
1미터 자를 50cm·30cm·20cm 세 칸으로 나눠 칠한다. 눈을 감고 자 위의 한 점을 아무 데나 고른 뒤, 그 점이 든 칸의 번호를 적는다. 넓은 칸일수록 자주 걸리니, 오래 되풀이하면 번호가 절반·30%·20%의 비율로 적힌다.
자 전체는 0부터 1까지의 구간이고, 칸의 폭은 확률 , 칸의 경계는 누적 확률 다. 매번 처음처럼 새로 고르는 것이 서로 독립인 뽑기다. 눈 감고 고른 점이 균등 난수 이고, 그 점이 든 칸의 번호가 샘플(뽑힌 값) 다. 언어 모델(LLM)이 같은 질문에 다른 답을 낼 수 있는 것도 다음 토큰을 이렇게 확률대로 뽑기 때문이다.
샘플링은 확률대로 값 하나를 뽑는 일이다
분포에서 샘플링한다는 것은 값마다 정해진 확률대로 값 하나를 고르는 일이다. 분포 에서 서로 독립으로 많이 되풀이해 뽑으면 첫 값이 절반쯤, 둘째가 30%쯤, 셋째가 20%쯤 나온다. 식 (1)의 은 "를 분포 에서 뽑았다"라고 읽는다. 여기서 는 다른 장의 '스팸이다' 같은 사건이 아니라 뽑혀 나온 값이고, 식 (3)의 가 그 값을 만드는 방법이다.
난수 생성기가 기본으로 내주는 것은 0 이상 1 미만에 고르게 퍼진 균등 난수 다. 그래서 분포 를 앞에서부터 누적해 0~1을 칸으로 나누고(식 (2)), 가 든 칸을 고른다(식 (3)). 식 (3)은 "를 만족하는 중 가장 작은 것"이다.11 경계 를 어느 칸으로 보낼지는 자료마다 다르다. Devroye는 인 가장 작은 를 쓰고, 이 페이지는 NumPy의 side="right"와 같은 를 쓴다. 가 정확히 경계에 떨어질 확률은 0이라 뽑히는 분포는 같다.
누적 확률에서 거꾸로 가 든 칸을 찾는다고 해서 이 방법을 역변환 샘플링(inverse transform sampling)이라 한다. 는 이 분포의 누적 분포 함수(CDF) 의 값 다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 분포(확률 벡터) | probability vector | 값 가 나올 확률 를 늘어놓은 것. , | |
| 값의 개수 | number of categories | 이 페이지의 예시는 3. 언어 모델에서는 어휘 크기 | |
| , | 확률 | probability | 사건이 일어날 확률. 처럼 쓰고, 에서는 값마다 이 확률을 주는 분포를 가리킨다 |
| 샘플 | sample | 분포 에서 확률대로 뽑은 값 . 은 '아무 값'의 자리 | |
| 누적 확률 | cumulative probability | . , . 이 페이지의 주인공 | |
| 균등 난수 | uniform random number | 0 이상 1 미만 어디에나 고르게 떨어지는 수 | |
| 뽑힌 번호 | sampled index | 가 떨어진 칸의 번호. 식 (4)에 따라 식 (1)의 샘플 와 같은 분포를 따른다 | |
| 집합 | set | '…인 의 모임'. 세로 막대는 '…인'으로 읽는다. 그림 3의 처럼 수를 양쪽에서 감싼 막대는 절댓값이다 | |
| , | 샘플 수, 횟수 | sample size, count | 번 뽑아 값 가 번 나왔다 |
| 빈도 | empirical frequency | . 뽑아서 센 비율(교과서의 상대도수) | |
| 최댓값의 자리 | argmax | 값이 가장 큰 |
기호와 예시는 확률의 기초 허브의 공통 기호표를 따른다. 공통 예시는 다음 토큰 후보가 셋인 분포 다. 토큰은 문장을 자른 단위이고, 언어 모델은 앞부분(접두부)을 읽고 다음 토큰의 분포를 낸다(확률의 연쇄 법칙). 이처럼 값이 개로 나뉜 분포를 범주형 분포(categorical distribution)라 한다(조건부 확률).
누적은 이다. 이면 라서 두 번째 값이 뽑힌다(그림 1).
figures/cumulative_band.py왜 칸의 폭이 곧 확률이 되나
는 0~1 어디에나 고르게 떨어지므로, 어떤 칸에 떨어질 확률은 그 칸의 길이와 같다. 번째 칸의 길이는 라서 식 (4)가 성립한다. 곧 식 (3)으로 고른 는 식 (1)의 샘플 와 같은 분포를 따른다.
예시에서 두 번째 칸은 0.5부터 0.8까지라 가 여기 떨어질 확률은 다. 그래서 서로 독립으로 많이 뽑을수록 값별 빈도 이 확률 에 가까워진다. 이것을 큰 수의 법칙이라 부른다.22 가까워지는 것은 확률적인 이야기라 시드마다 늘 줄기만 하지는 않는다. 시드 100개 중 7개는 을 100에서 1,000으로 늘렸을 때 오히려 더 어긋났다.
그림 2는 시드 0으로 10번, 100번, 10,000번 뽑은 빈도다. 10번이면 으로, 확률이 가장 높은 첫 값이 오히려 가장 적게(공동) 나왔다. 100번이면 , 10,000번이면 이다.
figures/frequency_bars.py샘플링은 0~1을 확률 폭의 칸으로 나누고 균등 난수가 떨어진 칸을 고르는 일이다. 칸의 폭이 곧 확률이라 서로 독립으로 많이 뽑을수록 빈도가 확률에 다가간다.
몇 번 뽑아야 빈도가 확률과 비슷해지나?
정해진 횟수는 없고, 빈도와 확률의 어긋남은 뽑는 횟수 이 커져도 천천히 준다. 시드 0~99로 백 번 되풀이하면 에서는 56번이 어느 값에서 0.1 넘게 어긋났고, 에서는 백 번 모두 0.014 미만이었다(그림 3). 어긋남의 가운데 값은 이 100배(100 → 10,000)가 될 때 0.05에서 0.0047로, 약 10.6분의 1이 됐다.33 독립으로 뽑으면 빈도 가 흩어진 정도(표준편차)는 이라 꼴로 준다. 이 100배면 약 10분의 1이고, , 이면 0.005다.
figures/deviation_seeds.py시드를 고정하면 왜 같은 결과가 나오나
컴퓨터의 난수는 시드(seed)에서 출발하는 정해진 수열이라, 같은 생성기(같은 라이브러리·알고리즘·버전)에 같은 시드를 주면 같은 수열이 나온다. 같은 분포에 같은 를 넣으면 식 (3)이 같은 칸을 고르니 결과가 똑같다. 그림 1의 아래 줄은 np.random.default_rng(0)이 내는 처음 10개이고, 몇 번을 다시 실행해도 같은 자리에 찍힌다. 실험을 재현하려면 시드를 적어 둔다.
시드가 고정하는 것은 뿐이다. 분포가 이면 누적이 이라, 같은 이 첫 칸에 떨어진다. 시드 0의 처음 10개로 보면 0.544·0.607·0.637이 두 번째에서 첫 칸으로, 0.813이 세 번째에서 두 번째 칸으로 옮겨 4개의 값이 바뀐다. 칸마다 개수는 3·4·3에서 6·2·2가 된다.
시드를 고정했는데 왜 결과가 달라지나?
시드는 난수 생성기의 수열만 고정하기 때문이다. 앞에서 난수를 쓰는 횟수가 바뀌면(초기화나 드롭아웃을 하나 더 넣는 경우) 같은 수열의 다른 자리를 쓰고, 분포가 바뀌면(다른 모델, 다른 입력) 같은 도 다른 칸에 떨어진다. 위의 예에서는 분포만 바꿔도 10개 중 4개가 바뀌었다. 생성기가 다르면(np.random.seed(0), np.random.default_rng(0), torch.manual_seed(0)) 같은 시드 0이라도 수열부터 다르고, PyTorch는 버전·기기(CPU·GPU)가 다르면 같은 결과를 약속하지 않는다고 재현성 문서에 밝힌다.
NumPy choice와 누적합 searchsorted는 같은 건가?
그렇다, NumPy의 choice와 누적합에 searchsorted를 쓰는 것은 같은 일을 한다. NumPy 2.5에서 시드 0의 rng.choice(3, size=10_000, p=p)는 같은 시드로 식 (2)·(3)을 직접 계산한 결과와 10,000개가 모두 같았다(코드랩). 같은 균등 난수를 같은 칸 규칙으로 바꾼다는 뜻이다. 둘 다 빈도는 이다.
샘플링과 그리디는 무엇이 다른가
그리디(greedy)는 늘 확률이 가장 큰 값을 고르고, 샘플링은 확률대로 고른다. 그리디는 식 (5)이고, 분포 에서는 몇 번을 해도 첫 값만 낸다.
샘플링은 10,000번 중 49.9%만 첫 값을 골랐고, 나머지는 두 번째·세 번째 값이었다. 문장을 만들 때도 같다. 확률의 연쇄 법칙이 주는 다음 토큰 분포에서 한 번 고르고, 접두부에 붙여 다시 고르기를 되풀이한다. 같은 모델·같은 입력·같은 수치 환경이면 그리디 디코딩은 매번 같은 문장을 내고, 샘플링은 실행마다 다른 문장을 낼 수 있다.44 기기나 배치 크기에 따라 모델이 소프트맥스 전에 내는 점수(로짓)가 아주 조금 달라지면, 1등과 2등의 확률이 거의 같은 자리에서는 그리디의 선택도 바뀔 수 있다.
Holtzman 외(2020)는 확률이 높은 쪽만 고르는 디코딩이 밋밋하고 같은 말을 되풀이하는 글을 만들기 쉽다고 보고했다. 거꾸로 분포 전체에서 그대로 뽑으면, 확률이 낮은 긴 꼬리에서 엉뚱한 토큰이 나와 글이 흐트러지기 쉽다고 했다. 그래서 꼬리를 잘라 낸 뒤 샘플링하는 top-p를 제안했다. 분포를 더 뾰족하게나 평평하게 바꾸는 온도(temperature)는 소프트맥스 페이지에서 다룬다.
같은 질문에 LLM의 답이 왜 매번 달라?
LLM이 다음 토큰을 가장 큰 것 하나로 정하지 않고 확률대로 뽑기 때문이다. 같은 모델·같은 입력·같은 수치 환경이면 그리디 디코딩은 매번 같은 문장을 내지만, 샘플링은 실행마다 난수가 달라 다른 토큰을 고를 수 있다. 예시 분포에서 샘플링은 10,000번 중 49.9%만 첫 값을 골랐다. 같은 환경에서 시드를 고정하면 같은 난수가 나와 같은 답이 되풀이된다.
top-k와 top-p, temperature는 뭐가 달라?
top-k와 top-p는 뽑기 전에 분포의 꼬리를 잘라 내고, temperature(온도)는 자르지 않고 분포를 더 뾰족하게나 평평하게 바꾼다. top-k는 확률이 큰 순으로 개만, top-p는 누적 확률이 top_p에 이를 때까지만 남기고 합이 다시 1이 되게 나눈다. 예시 분포 에 top_p=0.7이면 두 값만 남아 에서 뽑는다. 온도를 낮추면 어떻게 되는지는 소프트맥스 페이지의 온도 §가 숫자로 보인다.
샘플링하면 확률이 가장 높은 토큰이 안 나올 수도 있나?
그렇다, 샘플링하면 확률이 가장 높은 토큰도 안 나올 수 있다. 분포 에서 첫 값은 한 번 뽑을 때마다 확률 0.5로 나오지 않는다. 시드 0의 처음 10번에서 첫 값은 3번만 나왔고, 10,000번에서도 49.9%였다. 늘 가장 높은 것을 원하면 식 (5)의 그리디를 쓴다.
샘플링의 흔한 오해
- 샘플링하면 확률이 가장 높은 값만 나온다 — 그것은 식 (5)의 그리디다. 샘플링은 첫 값(확률 0.5)을 10,000번 중 49.9%만 골랐고, 시드 0의 처음 10번에서는 3번만 골랐다.
- 시드만 같으면 어디서 돌려도 같은 결과가 나온다 — 시드는 그 생성기의 균등 난수 만 고정한다. 분포가 로 바뀌면 시드 0의 처음 10개 중 4개가 바뀌고, 생성기·버전·기기가 바뀌면 수열부터 달라질 수 있다.
- 몇 번 뽑아 본 빈도가 곧 확률이다 — 시드 0으로 10번 뽑은 빈도 은 와 크기 순서까지 다르다. 시드 백 개로 되풀이하면 에서 56번이 0.1 넘게 어긋났다.
샘플링은 AI에서 어디에 쓰이나
언어 모델이 글을 만들 때 한 걸음이 식 (1)의 샘플링이다. 모델이 접두부를 읽고 다음 토큰 분포 ( = 어휘 크기)를 내면, 생성 코드가 거기서 토큰 하나를 뽑아 접두부에 붙인다. 학습 때 미니배치를 무작위로 골라 경사하강법을 하는 일도 난수 생성기에 기대므로, 실험을 재현하려면 시드를 고정한다.
| 이 페이지 | PyTorch · Hugging Face Transformers · NumPy |
|---|---|
torch.softmax(logits[:, -1], dim=-1) — 마지막 자리의 다음 토큰 분포. 는 어휘 크기 | |
| 식 (1) 한 번 | torch.multinomial(probs, num_samples=1) — 행마다 확률(가중치)대로 번호 하나. PyTorch의 생성기는 NumPy와 달라 그림 1의 수열이 나오지 않고, 뽑는 방법도 식 (3)과 다를 수 있다 |
| 식 (5) | torch.argmax(probs, dim=-1) — 그리디 |
| 샘플링 · 그리디 | model.generate(..., do_sample=True) · do_sample=False. 라이브러리 기본값은 False이지만 모델의 generation_config가 바꿔 둘 수 있다 |
| 시드 | torch.manual_seed(0)(PyTorch 생성기), transformers.set_seed(0)(파이썬 random·np.random 전역·PyTorch를 함께). 같은 0이라도 생성기마다 수열이 다르다 |
| 와 식 (2)·(3) | rng = np.random.default_rng(0), rng.random(), np.searchsorted(c, u, side="right"). c = np.cumsum(p)의 끝이 부동소수점 오차로 1보다 조금 작으면 칸 밖 번호가 나올 수 있어 c /= c[-1]로 맞춘다 |
| 식 (1) 한 번에 | rng.choice(K, p=p) |
| top-k · top-p | top_k(기본값 50) · top_p(기본값 1.0). 확률이 큰 순으로 k개, 또는 누적 확률이 top_p에 이를 때까지만 남기고 다시 합이 1이 되게 나눈 뒤 뽑는다. 예시 분포에 top_p=0.7이면 이라 두 값만 남아 에서 뽑는다 |
| 온도 | temperature(기본값 1.0). 소프트맥스 페이지에서 다룬다 |
LLM에서 do_sample=True는 무슨 뜻이야?
do_sample=True는 다음 토큰을 분포의 확률대로 뽑으라는 뜻이다. 다만 모델의 generation_config가 따로 정하지 않았다면 Hugging Face의 기본값 top_k=50이 함께 걸려, 전체 분포가 아니라 확률 상위 50개를 다시 나눈 분포에서 뽑는다. False면 식 (5)의 그리디라, 예시 분포에서는 매번 첫 토큰이고 샘플링은 10,000번 중 49.9%만 첫 토큰이다. 샘플링 결과를 재현하려면 torch.manual_seed나 transformers.set_seed로 시드를 고정한다.
코드로 확인하기
cum은 누적 확률 이고 np.searchsorted(..., side="right")가 식 (3)의 '인 가장 작은 '를 0부터 센 번호로 찾는다(그래서 k는 1을 더한다). 같은 시드로 rng.choice를 부르면 같은 결과가 나온다.
import numpy as np
probs = np.array([0.5, 0.3, 0.2]) # 분포 p
cum = np.cumsum(probs) # 식 (2): 누적 c = (0.5, 0.8, 1.0)
cum /= cum[-1] # 끝을 정확히 1로 (부동소수점 합의 오차 대비)
u = 0.63
k = np.searchsorted(cum, u, side="right") + 1 # 식 (3): u < c_k 인 가장 작은 k (1부터 센 번호)
print(f"u = {u} -> k = {k}")
rng = np.random.default_rng(0) # 시드 0
idx = np.searchsorted(cum, rng.random(10_000), side="right") # u 만 개를 식 (3) 으로 (0부터 센 번호)
print("searchsorted:", np.bincount(idx) / 10_000)
rng = np.random.default_rng(0) # 같은 시드로 다시
idx2 = rng.choice(3, size=10_000, p=probs) # NumPy 가 하는 같은 일
print("choice: ", np.bincount(idx2) / 10_000, "same:", (idx == idx2).all())$ python sampling.py
u = 0.63 -> k = 2
searchsorted: [0.499 0.2989 0.2021]
choice: [0.499 0.2989 0.2021] same: True직접 해보기
- 분포 에서 와 는 각각 몇 번째 값인가?
- 시드 0의 처음 10개 는 작은 순으로 0.017, 0.041, 0.27, 0.544, 0.607, 0.637, 0.729, 0.813, 0.913, 0.935다. 분포가 이면 칸마다 몇 개씩 떨어지나?
답
- 는 와 같아서 이 아니다. 이니 두 번째 값이다. 는 이라 세 번째 값이다.
- 누적은 이다. 0.7 미만이 6개, 0.7 이상 0.9 미만이 2개(0.729, 0.813), 0.9 이상이 2개라 6·2·2개다. 분포 로는 3·4·3개였다.
더 읽기
- Non-Uniform Random Variate Generation, 2장 General principles — Luc Devroye, 1986. Springer(저자 공개본). 2장이 역변환법(inversion method)의 일반형을, 3장이 이산 분포에서의 역변환을 다룬다. 경계는 규약이다. '샘플링은 확률대로 값 하나를 뽑는 일이다' §와 '왜 칸의 폭이 곧 확률이 되나' §가 기댄다.
- numpy.random.Generator.choice — NumPy 공식 문서. 인자
p로 값마다 확률을 주어 뽑는 함수다. '시드를 고정하면 왜 같은 결과가 나오나' §의 질문 블록과 코드랩이 기댄다. - torch.multinomial — PyTorch 공식 문서. 가중치 행렬의 행마다 번호를 뽑는다. '샘플링은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
- Reproducibility — PyTorch 공식 문서의 노트. 시드를 고정하는 법과, 버전·기기가 다르면 같은 결과를 약속하지 않는다는 경고가 있다. '시드를 고정하면 왜 같은 결과가 나오나' §가 기댄다.
- Generation (GenerationConfig) — Hugging Face Transformers 공식 API 문서.
do_sample·top_k·top_p·temperature의 뜻과 기본값이 있다. '샘플링은 AI에서 어디에 쓰이나' §의 대응표와do_sample질문 블록이 기댄다. 기본값은 버전마다 다를 수 있다. - The Curious Case of Neural Text Degeneration — Holtzman·Buys·Du·Forbes·Choi, 2020. ICLR. 확률이 높은 쪽만 고르는 디코딩과 샘플링의 글을 비교하고 top-p(nucleus) 샘플링을 제안한다. '샘플링과 그리디는 무엇이 다른가' §가 기댄다.
- Foundations of Large Language Models, 5.1.3.3절 Sampling-based Decoding — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 215–217. 그리디·빔 디코딩은 같은 입력에 늘 같은 출력을 내므로 다양성을 넣으려면 샘플링한다는 말로 시작한다. top-k 후보 풀을 다시 합이 1이 되게 나눠 한 토큰을 뽑는 식 (5.23)–(5.27), 누적 확률이 를 넘는 가장 작은 집합을 후보로 쓰는 top-p 식 (5.28), 분포의 날카로움을 조절하는 온도 식 (5.29)가 이어진다. '샘플링과 그리디는 무엇이 다른가' §와 '샘플링은 AI에서 어디에 쓰이나' §가 기댄다.
영상 노트
- 00:00 오프닝 질문 — "LLM은 다음 토큰을 어떻게 뽑을까?"
- 00:40 1미터 자를 50·30·20cm로 나누기 (직관)
- 01:30 식 (2)·식 (3) 판서와 그림 1 — 누적 0.5·0.8·1.0, 은 두 번째 칸
- 03:00 식 (4) — 칸의 폭이 곧 확률
- 04:00 그림 2·그림 3 — 10번은 (0.3, 0.4, 0.3), 10,000번은 (0.499, 0.2989, 0.2021), 시드 백 개 중 56번이 0.1 넘게
- 05:30 시드 — 같은 라도 분포가 다르면 10개 중 4개가 바뀐다
- 06:30 식 (5) 그리디와 샘플링,
do_sample· 마무리
촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.
지도에서의 위치
- 2026-11-04 · 에이전트 초안 (수식 5, 그림 3, 코드랩 1)
- 2026-11-05 · 검수 — 더 읽기 URL 6개(Devroye 2·3장, NumPy choice, PyTorch 2.15 multinomial·재현성 노트, Transformers 생성 설정 기본값 do_sample·top_k·top_p·temperature, Holtzman 2020) 확인, Wikidata Q7254441, 허브 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
- 2026-11-05 · 남은 질문(연속 분포에서 뽑기)을 확률분포 페이지(예정)로 넘김
- 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
- 2026-11-05 · 선수에 argmax(예정) 연결
- 2026-11-05 · 직접 검토 — 완성으로 올림
- 2026-11-13 · 독자 패널 리뷰 반영 — hook을 LLM 독자의 질문으로, top-k·top-p·temperature 질문 블록, 샘플 a가 다른 장의 사건 a와 다르다는 한 문장, 역변환 샘플링 문장을 식 (3) 뒤로, 조건부 확률 페이지 링크 (에이전트 수정, 다시 검토 전)