확률·통계분포에서 샘플링#011

분포에서 샘플링

Sampling from a Distribution

분포에서 샘플링은 값 하나를 확률대로 뽑는 일이다. 분포 (0.5, 0.3, 0.2)를 누적한 0.5·0.8·1.0이 0~1을 칸으로 나누고, 난수 0.63은 두 번째 칸에 떨어진다. LLM의 do_sample·top-k·top-p, 그리디와의 차이, 시드 고정을 같은 그림으로 읽는다.

주인공 기호
c_k
읽는 시간
약 12분
선수 개념
조건부 확률최댓값과 argmax확률의 연쇄 법칙

직관 — 1미터 자를 확률만큼의 칸으로 나눈다

직관

1미터 자를 50cm·30cm·20cm 세 칸으로 나눠 칠한다. 눈을 감고 자 위의 한 점을 아무 데나 고른 뒤, 그 점이 든 칸의 번호를 적는다. 넓은 칸일수록 자주 걸리니, 오래 되풀이하면 번호가 절반·30%·20%의 비율로 적힌다.

자 전체는 0부터 1까지의 구간이고, 칸의 폭은 확률 pkp_k, 칸의 경계는 누적 확률 ckc_k다. 매번 처음처럼 새로 고르는 것이 서로 독립인 뽑기다. 눈 감고 고른 점이 균등 난수 uu이고, 그 점이 든 칸의 번호가 샘플(뽑힌 값) k∗k^*다. 언어 모델(LLM)이 같은 질문에 다른 답을 낼 수 있는 것도 다음 토큰을 이렇게 확률대로 뽑기 때문이다.

샘플링은 확률대로 값 하나를 뽑는 일이다

분포에서 샘플링한다는 것은 값마다 정해진 확률대로 값 하나를 고르는 일이다. 분포 (0.5,0.3,0.2)(0.5, 0.3, 0.2)에서 서로 독립으로 많이 되풀이해 뽑으면 첫 값이 절반쯤, 둘째가 30%쯤, 셋째가 20%쯤 나온다. 식 (1)의 a∼Pr⁡(⋅)a \sim \Pr(\cdot)은 "aa를 분포 Pr⁡\Pr에서 뽑았다"라고 읽는다. 여기서 aa는 다른 장의 '스팸이다' 같은 사건이 아니라 뽑혀 나온 값이고, 식 (3)의 k∗k^*가 그 값을 만드는 방법이다.

a∼Pr⁡(⋅),Pr⁡(a=k)=pk(k=1,…,K)(1)a \sim \Pr(\cdot), \qquad \Pr(a = k) = p_k \quad (k = 1, \dots, K) \tag{1}

난수 생성기가 기본으로 내주는 것은 0 이상 1 미만에 고르게 퍼진 균등 난수 uu다. 그래서 분포 p\mathbf{p}를 앞에서부터 누적해 0~1을 칸으로 나누고(식 (2)), uu가 든 칸을 고른다(식 (3)). 식 (3)은 "u<cku < c_k를 만족하는 kk 중 가장 작은 것"이다.11 경계 u=cku = c_k를 어느 칸으로 보낼지는 자료마다 다르다. Devroye는 u≤cku \le c_k인 가장 작은 kk를 쓰고, 이 페이지는 NumPy의 side="right"와 같은 u<cku < c_k를 쓴다. uu가 정확히 경계에 떨어질 확률은 0이라 뽑히는 분포는 같다.

ck=∑j=1kpj,c0=0(2)c_k = \sum_{j=1}^{k} p_j, \qquad c_0 = 0 \tag{2} k∗=min⁡{k∣u<ck},u∼U(0,1)(3)k^* = \min\{k \mid u < c_k\}, \qquad u \sim U(0, 1) \tag{3}

누적 확률에서 거꾸로 uu가 든 칸을 찾는다고 해서 이 방법을 역변환 샘플링(inverse transform sampling)이라 한다. ckc_k는 이 분포의 누적 분포 함수(CDF) FF의 값 F(k)F(k)다.

정의
기호이름원어뜻
p=(p1,…,pK)\mathbf{p} = (p_1, \dots, p_K)분포(확률 벡터)probability vector값 kk가 나올 확률 pkp_k를 늘어놓은 것. pk≥0p_k \ge 0, ∑k=1Kpk=1\sum_{k=1}^{K} p_k = 1
KK값의 개수number of categories이 페이지의 예시는 3. 언어 모델에서는 어휘 크기
Pr⁡(⋅)\Pr(\cdot), Pr⁡(a=k)\Pr(a = k)확률probability사건이 일어날 확률. Pr⁡(a=k)=pk\Pr(a = k) = p_k처럼 쓰고, a∼Pr⁡(⋅)a \sim \Pr(\cdot)에서는 값마다 이 확률을 주는 분포를 가리킨다
a∼Pr⁡(⋅)a \sim \Pr(\cdot)샘플sample분포 Pr⁡\Pr에서 확률대로 뽑은 값 aa. ⋅\cdot은 '아무 값'의 자리
ckc_k누적 확률cumulative probabilityp1+⋯+pkp_1 + \cdots + p_k. c0=0c_0 = 0, cK=1c_K = 1. 이 페이지의 주인공
u∼U(0,1)u \sim U(0, 1)균등 난수uniform random number0 이상 1 미만 어디에나 고르게 떨어지는 수
k∗k^*뽑힌 번호sampled indexuu가 떨어진 칸의 번호. 식 (4)에 따라 식 (1)의 샘플 aa와 같은 분포를 따른다
{k∣… }\{k \mid \dots\}집합set'…인 kk의 모임'. 세로 막대는 '…인'으로 읽는다. 그림 3의 ∣p^k−pk∣\lvert \hat{p}_k - p_k \rvert처럼 수를 양쪽에서 감싼 막대는 절댓값이다
nn, nkn_k샘플 수, 횟수sample size, countnn번 뽑아 값 kk가 nkn_k번 나왔다
p^k\hat{p}_k빈도empirical frequencynk/nn_k / n. 뽑아서 센 비율(교과서의 상대도수)
arg⁡max⁡k\arg\max_k최댓값의 자리argmax값이 가장 큰 kk

기호와 예시는 확률의 기초 허브의 공통 기호표를 따른다. 공통 예시는 다음 토큰 후보가 셋인 분포 p=(0.5,0.3,0.2)\mathbf{p} = (0.5, 0.3, 0.2)다. 토큰은 문장을 자른 단위이고, 언어 모델은 앞부분(접두부)을 읽고 다음 토큰의 분포를 낸다(확률의 연쇄 법칙). 이처럼 값이 KK개로 나뉜 분포를 범주형 분포(categorical distribution)라 한다(조건부 확률).

누적은 (c1,c2,c3)=(0.5,0.8,1.0)(c_1, c_2, c_3) = (0.5, 0.8, 1.0)이다. u=0.63u = 0.63이면 c1=0.5≤0.63<0.8=c2c_1 = 0.5 \le 0.63 < 0.8 = c_2라서 두 번째 값이 뽑힌다(그림 1).

0부터 1까지의 띠를 분포 p = (0.5, 0.3, 0.2)의 폭으로 나눈 세 칸. 경계는 누적 확률 c_k다. u = 0.63은 c_1 = 0.5와 c_2 = 0.8 사이라 두 번째 칸에 떨어진다. 아래 줄은 시드 0으로 만든 균등 난수 처음 10개의 자리이고, 칸마다 3·4·3개가 떨어졌다.
그림 1 0부터 1까지의 띠를 분포 p=(0.5,0.3,0.2)\mathbf{p} = (0.5, 0.3, 0.2)의 폭으로 나눈 세 칸. 경계는 누적 확률 ckc_k다. u=0.63u = 0.63은 c1=0.5c_1 = 0.5와 c2=0.8c_2 = 0.8 사이라 두 번째 칸에 떨어진다. 아래 줄은 시드 0으로 만든 균등 난수 처음 10개의 자리이고, 칸마다 3·4·3개가 떨어졌다. figures/cumulative_band.py

왜 칸의 폭이 곧 확률이 되나

uu는 0~1 어디에나 고르게 떨어지므로, 어떤 칸에 떨어질 확률은 그 칸의 길이와 같다. kk번째 칸의 길이는 ck−ck−1=pkc_k - c_{k-1} = p_k라서 식 (4)가 성립한다. 곧 식 (3)으로 고른 k∗k^*는 식 (1)의 샘플 aa와 같은 분포를 따른다.

Pr⁡(k∗=k)=Pr⁡(ck−1≤u<ck)=ck−ck−1=pk(4)\Pr(k^* = k) = \Pr(c_{k-1} \le u < c_k) = c_k - c_{k-1} = p_k \tag{4}

예시에서 두 번째 칸은 0.5부터 0.8까지라 uu가 여기 떨어질 확률은 0.8−0.5=0.3=p20.8 - 0.5 = 0.3 = p_2다. 그래서 서로 독립으로 많이 뽑을수록 값별 빈도 p^k=nk/n\hat{p}_k = n_k / n이 확률 pkp_k에 가까워진다. 이것을 큰 수의 법칙이라 부른다.22 가까워지는 것은 확률적인 이야기라 시드마다 늘 줄기만 하지는 않는다. 시드 100개 중 7개는 nn을 100에서 1,000으로 늘렸을 때 오히려 더 어긋났다.

그림 2는 시드 0으로 10번, 100번, 10,000번 뽑은 빈도다. 10번이면 (0.3,0.4,0.3)(0.3, 0.4, 0.3)으로, 확률이 가장 높은 첫 값이 오히려 가장 적게(공동) 나왔다. 100번이면 (0.44,0.29,0.27)(0.44, 0.29, 0.27), 10,000번이면 (0.499,0.2989,0.2021)(0.499, 0.2989, 0.2021)이다.

시드 0으로 n = 10, 100, 10,000번 뽑았을 때 값별 빈도 p_k(막대)와 확률 p_k(가로선). 빈도와 확률의 가장 큰 어긋남은 n = 10에서 0.2, n = 100에서 0.07, n = 10,000에서 0.0021이다.
그림 2 시드 0으로 nn = 10, 100, 10,000번 뽑았을 때 값별 빈도 p^k\hat{p}_k(막대)와 확률 pkp_k(가로선). 빈도와 확률의 가장 큰 어긋남은 n=10n = 10에서 0.2, n=100n = 100에서 0.07, n=10,000n = 10{,}000에서 0.0021이다. figures/frequency_bars.py
핵심

샘플링은 0~1을 확률 폭의 칸으로 나누고 균등 난수가 떨어진 칸을 고르는 일이다. 칸의 폭이 곧 확률이라 서로 독립으로 많이 뽑을수록 빈도가 확률에 다가간다.

몇 번 뽑아야 빈도가 확률과 비슷해지나?

정해진 횟수는 없고, 빈도와 확률의 어긋남은 뽑는 횟수 nn이 커져도 천천히 준다. 시드 0~99로 백 번 되풀이하면 n=10n = 10에서는 56번이 어느 값에서 0.1 넘게 어긋났고, n=10,000n = 10{,}000에서는 백 번 모두 0.014 미만이었다(그림 3). 어긋남의 가운데 값은 nn이 100배(100 → 10,000)가 될 때 0.05에서 0.0047로, 약 10.6분의 1이 됐다.33 독립으로 뽑으면 빈도 p^k\hat{p}_k가 흩어진 정도(표준편차)는 pk(1−pk)/n\sqrt{p_k(1 - p_k)/n}이라 1/n1/\sqrt{n} 꼴로 준다. nn이 100배면 약 10분의 1이고, p1=0.5p_1 = 0.5, n=10,000n = 10{,}000이면 0.005다.

시드 0부터 99까지 백 번, n번씩 뽑은 빈도가 확률과 가장 크게 어긋난 정도 max_k | p_k - p_k |. 점 하나가 시드 하나이고, 가로 막대는 가운데 값, 동그라미는 시드 0이다. 가운데 값은 n = 10, 100, 1,000, 10,000에서 0.2, 0.05, 0.0165, 0.0047이다.
그림 3 시드 0부터 99까지 백 번, nn번씩 뽑은 빈도가 확률과 가장 크게 어긋난 정도 max⁡k∣p^k−pk∣\max_k \lvert \hat{p}_k - p_k \rvert. 점 하나가 시드 하나이고, 가로 막대는 가운데 값, 동그라미는 시드 0이다. 가운데 값은 nn = 10, 100, 1,000, 10,000에서 0.2, 0.05, 0.0165, 0.0047이다. figures/deviation_seeds.py

시드를 고정하면 왜 같은 결과가 나오나

컴퓨터의 난수는 시드(seed)에서 출발하는 정해진 수열이라, 같은 생성기(같은 라이브러리·알고리즘·버전)에 같은 시드를 주면 같은 uu 수열이 나온다. 같은 분포에 같은 uu를 넣으면 식 (3)이 같은 칸을 고르니 결과가 똑같다. 그림 1의 아래 줄은 np.random.default_rng(0)이 내는 처음 10개이고, 몇 번을 다시 실행해도 같은 자리에 찍힌다. 실험을 재현하려면 시드를 적어 둔다.

시드가 고정하는 것은 uu뿐이다. 분포가 (0.7,0.2,0.1)(0.7, 0.2, 0.1)이면 누적이 (0.7,0.9,1.0)(0.7, 0.9, 1.0)이라, 같은 u=0.63u = 0.63이 첫 칸에 떨어진다. 시드 0의 처음 10개로 보면 0.544·0.607·0.637이 두 번째에서 첫 칸으로, 0.813이 세 번째에서 두 번째 칸으로 옮겨 4개의 값이 바뀐다. 칸마다 개수는 3·4·3에서 6·2·2가 된다.

시드를 고정했는데 왜 결과가 달라지나?

시드는 난수 생성기의 수열만 고정하기 때문이다. 앞에서 난수를 쓰는 횟수가 바뀌면(초기화나 드롭아웃을 하나 더 넣는 경우) 같은 수열의 다른 자리를 쓰고, 분포가 바뀌면(다른 모델, 다른 입력) 같은 uu도 다른 칸에 떨어진다. 위의 예에서는 분포만 바꿔도 10개 중 4개가 바뀌었다. 생성기가 다르면(np.random.seed(0), np.random.default_rng(0), torch.manual_seed(0)) 같은 시드 0이라도 수열부터 다르고, PyTorch는 버전·기기(CPU·GPU)가 다르면 같은 결과를 약속하지 않는다고 재현성 문서에 밝힌다.

NumPy choice와 누적합 searchsorted는 같은 건가?

그렇다, NumPy의 choice와 누적합에 searchsorted를 쓰는 것은 같은 일을 한다. NumPy 2.5에서 시드 0의 rng.choice(3, size=10_000, p=p)는 같은 시드로 식 (2)·(3)을 직접 계산한 결과와 10,000개가 모두 같았다(코드랩). 같은 균등 난수를 같은 칸 규칙으로 바꾼다는 뜻이다. 둘 다 빈도는 (0.499,0.2989,0.2021)(0.499, 0.2989, 0.2021)이다.

샘플링과 그리디는 무엇이 다른가

그리디(greedy)는 늘 확률이 가장 큰 값을 고르고, 샘플링은 확률대로 고른다. 그리디는 식 (5)이고, 분포 p\mathbf{p}에서는 몇 번을 해도 첫 값만 낸다.

kgreedy=arg⁡max⁡k pk(5)k_{\text{greedy}} = \arg\max_k \, p_k \tag{5}

샘플링은 10,000번 중 49.9%만 첫 값을 골랐고, 나머지는 두 번째·세 번째 값이었다. 문장을 만들 때도 같다. 확률의 연쇄 법칙이 주는 다음 토큰 분포에서 한 번 고르고, 접두부에 붙여 다시 고르기를 되풀이한다. 같은 모델·같은 입력·같은 수치 환경이면 그리디 디코딩은 매번 같은 문장을 내고, 샘플링은 실행마다 다른 문장을 낼 수 있다.44 기기나 배치 크기에 따라 모델이 소프트맥스 전에 내는 점수(로짓)가 아주 조금 달라지면, 1등과 2등의 확률이 거의 같은 자리에서는 그리디의 선택도 바뀔 수 있다.

Holtzman 외(2020)는 확률이 높은 쪽만 고르는 디코딩이 밋밋하고 같은 말을 되풀이하는 글을 만들기 쉽다고 보고했다. 거꾸로 분포 전체에서 그대로 뽑으면, 확률이 낮은 긴 꼬리에서 엉뚱한 토큰이 나와 글이 흐트러지기 쉽다고 했다. 그래서 꼬리를 잘라 낸 뒤 샘플링하는 top-p를 제안했다. 분포를 더 뾰족하게나 평평하게 바꾸는 온도(temperature)는 소프트맥스 페이지에서 다룬다.

같은 질문에 LLM의 답이 왜 매번 달라?

LLM이 다음 토큰을 가장 큰 것 하나로 정하지 않고 확률대로 뽑기 때문이다. 같은 모델·같은 입력·같은 수치 환경이면 그리디 디코딩은 매번 같은 문장을 내지만, 샘플링은 실행마다 난수가 달라 다른 토큰을 고를 수 있다. 예시 분포에서 샘플링은 10,000번 중 49.9%만 첫 값을 골랐다. 같은 환경에서 시드를 고정하면 같은 난수가 나와 같은 답이 되풀이된다.

top-k와 top-p, temperature는 뭐가 달라?

top-k와 top-p는 뽑기 전에 분포의 꼬리를 잘라 내고, temperature(온도)는 자르지 않고 분포를 더 뾰족하게나 평평하게 바꾼다. top-k는 확률이 큰 순으로 kk개만, top-p는 누적 확률이 top_p에 이를 때까지만 남기고 합이 다시 1이 되게 나눈다. 예시 분포 (0.5,0.3,0.2)(0.5, 0.3, 0.2)에 top_p=0.7이면 두 값만 남아 (0.625,0.375)(0.625, 0.375)에서 뽑는다. 온도를 낮추면 어떻게 되는지는 소프트맥스 페이지의 온도 §가 숫자로 보인다.

샘플링하면 확률이 가장 높은 토큰이 안 나올 수도 있나?

그렇다, 샘플링하면 확률이 가장 높은 토큰도 안 나올 수 있다. 분포 p\mathbf{p}에서 첫 값은 한 번 뽑을 때마다 확률 0.5로 나오지 않는다. 시드 0의 처음 10번에서 첫 값은 3번만 나왔고, 10,000번에서도 49.9%였다. 늘 가장 높은 것을 원하면 식 (5)의 그리디를 쓴다.

샘플링의 흔한 오해

  • 샘플링하면 확률이 가장 높은 값만 나온다 — 그것은 식 (5)의 그리디다. 샘플링은 첫 값(확률 0.5)을 10,000번 중 49.9%만 골랐고, 시드 0의 처음 10번에서는 3번만 골랐다.
  • 시드만 같으면 어디서 돌려도 같은 결과가 나온다 — 시드는 그 생성기의 균등 난수 uu만 고정한다. 분포가 (0.7,0.2,0.1)(0.7, 0.2, 0.1)로 바뀌면 시드 0의 처음 10개 중 4개가 바뀌고, 생성기·버전·기기가 바뀌면 수열부터 달라질 수 있다.
  • 몇 번 뽑아 본 빈도가 곧 확률이다 — 시드 0으로 10번 뽑은 빈도 (0.3,0.4,0.3)(0.3, 0.4, 0.3)은 p=(0.5,0.3,0.2)\mathbf{p} = (0.5, 0.3, 0.2)와 크기 순서까지 다르다. 시드 백 개로 되풀이하면 n=10n = 10에서 56번이 0.1 넘게 어긋났다.

샘플링은 AI에서 어디에 쓰이나

언어 모델이 글을 만들 때 한 걸음이 식 (1)의 샘플링이다. 모델이 접두부를 읽고 다음 토큰 분포 p\mathbf{p}(KK = 어휘 크기)를 내면, 생성 코드가 거기서 토큰 하나를 뽑아 접두부에 붙인다. 학습 때 미니배치를 무작위로 골라 경사하강법을 하는 일도 난수 생성기에 기대므로, 실험을 재현하려면 시드를 고정한다.

이 페이지PyTorch · Hugging Face Transformers · NumPy
p\mathbf{p}torch.softmax(logits[:, -1], dim=-1) — 마지막 자리의 다음 토큰 분포. KK는 어휘 크기
식 (1) 한 번torch.multinomial(probs, num_samples=1) — 행마다 확률(가중치)대로 번호 하나. PyTorch의 생성기는 NumPy와 달라 그림 1의 uu 수열이 나오지 않고, 뽑는 방법도 식 (3)과 다를 수 있다
식 (5)torch.argmax(probs, dim=-1) — 그리디
샘플링 · 그리디model.generate(..., do_sample=True) · do_sample=False. 라이브러리 기본값은 False이지만 모델의 generation_config가 바꿔 둘 수 있다
시드torch.manual_seed(0)(PyTorch 생성기), transformers.set_seed(0)(파이썬 random·np.random 전역·PyTorch를 함께). 같은 0이라도 생성기마다 수열이 다르다
uu와 식 (2)·(3)rng = np.random.default_rng(0), rng.random(), np.searchsorted(c, u, side="right"). c = np.cumsum(p)의 끝이 부동소수점 오차로 1보다 조금 작으면 칸 밖 번호가 나올 수 있어 c /= c[-1]로 맞춘다
식 (1) 한 번에rng.choice(K, p=p)
top-k · top-ptop_k(기본값 50) · top_p(기본값 1.0). 확률이 큰 순으로 k개, 또는 누적 확률이 top_p에 이를 때까지만 남기고 다시 합이 1이 되게 나눈 뒤 뽑는다. 예시 분포에 top_p=0.7이면 c1=0.5<0.7≤c2=0.8c_1 = 0.5 < 0.7 \le c_2 = 0.8이라 두 값만 남아 (0.625,0.375)(0.625, 0.375)에서 뽑는다
온도temperature(기본값 1.0). 소프트맥스 페이지에서 다룬다

LLM에서 do_sample=True는 무슨 뜻이야?

do_sample=True는 다음 토큰을 분포의 확률대로 뽑으라는 뜻이다. 다만 모델의 generation_config가 따로 정하지 않았다면 Hugging Face의 기본값 top_k=50이 함께 걸려, 전체 분포가 아니라 확률 상위 50개를 다시 나눈 분포에서 뽑는다. False면 식 (5)의 그리디라, 예시 분포에서는 매번 첫 토큰이고 샘플링은 10,000번 중 49.9%만 첫 토큰이다. 샘플링 결과를 재현하려면 torch.manual_seed나 transformers.set_seed로 시드를 고정한다.

코드로 확인하기

cum은 누적 확률 ckc_k이고 np.searchsorted(..., side="right")가 식 (3)의 'u<cku < c_k인 가장 작은 kk'를 0부터 센 번호로 찾는다(그래서 k는 1을 더한다). 같은 시드로 rng.choice를 부르면 같은 결과가 나온다.

수식
ck=∑j=1kpj(2)\sym{cum}{c_k} = \sum_{j=1}^{k} \sym{probs}{p_j} \tag{2}k∗=min⁡{k∣u<ck}(3)\sym{k}{k^*} = \min\{k \mid \sym{u}{u} < \sym{cum}{c_k}\} \tag{3}
코드 figures/sampling.py
import numpy as np

probs = np.array([0.5, 0.3, 0.2])       # 분포 p
cum = np.cumsum(probs)                   # 식 (2): 누적 c = (0.5, 0.8, 1.0)
cum /= cum[-1]                           # 끝을 정확히 1로 (부동소수점 합의 오차 대비)

u = 0.63
k = np.searchsorted(cum, u, side="right") + 1      # 식 (3): u < c_k 인 가장 작은 k (1부터 센 번호)
print(f"u = {u}  ->  k = {k}")

rng = np.random.default_rng(0)                     # 시드 0
idx = np.searchsorted(cum, rng.random(10_000), side="right")   # u 만 개를 식 (3) 으로 (0부터 센 번호)
print("searchsorted:", np.bincount(idx) / 10_000)

rng = np.random.default_rng(0)                     # 같은 시드로 다시
idx2 = rng.choice(3, size=10_000, p=probs)         # NumPy 가 하는 같은 일
print("choice:      ", np.bincount(idx2) / 10_000, "same:", (idx == idx2).all())
$ python sampling.py
u = 0.63  ->  k = 2
searchsorted: [0.499  0.2989 0.2021]
choice:       [0.499  0.2989 0.2021] same: True

직접 해보기

  1. 분포 p=(0.5,0.3,0.2)\mathbf{p} = (0.5, 0.3, 0.2)에서 u=0.5u = 0.5와 u=0.85u = 0.85는 각각 몇 번째 값인가?
  2. 시드 0의 처음 10개 uu는 작은 순으로 0.017, 0.041, 0.27, 0.544, 0.607, 0.637, 0.729, 0.813, 0.913, 0.935다. 분포가 (0.7,0.2,0.1)(0.7, 0.2, 0.1)이면 칸마다 몇 개씩 떨어지나?
답
  1. u=0.5u = 0.5는 c1=0.5c_1 = 0.5와 같아서 u<c1u < c_1이 아니다. u<c2=0.8u < c_2 = 0.8이니 두 번째 값이다. u=0.85u = 0.85는 0.8≤0.85<1.00.8 \le 0.85 < 1.0이라 세 번째 값이다.
  2. 누적은 (0.7,0.9,1.0)(0.7, 0.9, 1.0)이다. 0.7 미만이 6개, 0.7 이상 0.9 미만이 2개(0.729, 0.813), 0.9 이상이 2개라 6·2·2개다. 분포 p\mathbf{p}로는 3·4·3개였다.

더 읽기

  • Non-Uniform Random Variate Generation, 2장 General principles — Luc Devroye, 1986. Springer(저자 공개본). 2장이 역변환법(inversion method)의 일반형을, 3장이 이산 분포에서의 역변환을 다룬다. 경계는 u≤cku \le c_k 규약이다. '샘플링은 확률대로 값 하나를 뽑는 일이다' §와 '왜 칸의 폭이 곧 확률이 되나' §가 기댄다.
  • numpy.random.Generator.choice — NumPy 공식 문서. 인자 p로 값마다 확률을 주어 뽑는 함수다. '시드를 고정하면 왜 같은 결과가 나오나' §의 질문 블록과 코드랩이 기댄다.
  • torch.multinomial — PyTorch 공식 문서. 가중치 행렬의 행마다 번호를 뽑는다. '샘플링은 AI에서 어디에 쓰이나' §의 대응표가 기댄다.
  • Reproducibility — PyTorch 공식 문서의 노트. 시드를 고정하는 법과, 버전·기기가 다르면 같은 결과를 약속하지 않는다는 경고가 있다. '시드를 고정하면 왜 같은 결과가 나오나' §가 기댄다.
  • Generation (GenerationConfig) — Hugging Face Transformers 공식 API 문서. do_sample·top_k·top_p·temperature의 뜻과 기본값이 있다. '샘플링은 AI에서 어디에 쓰이나' §의 대응표와 do_sample 질문 블록이 기댄다. 기본값은 버전마다 다를 수 있다.
  • The Curious Case of Neural Text Degeneration — Holtzman·Buys·Du·Forbes·Choi, 2020. ICLR. 확률이 높은 쪽만 고르는 디코딩과 샘플링의 글을 비교하고 top-p(nucleus) 샘플링을 제안한다. '샘플링과 그리디는 무엇이 다른가' §가 기댄다.
  • Foundations of Large Language Models, 5.1.3.3절 Sampling-based Decoding — Tong Xiao·Jingbo Zhu, 2025 (arXiv v4, 2026). 원서 pp. 215–217. 그리디·빔 디코딩은 같은 입력에 늘 같은 출력을 내므로 다양성을 넣으려면 샘플링한다는 말로 시작한다. top-k 후보 풀을 다시 합이 1이 되게 나눠 한 토큰을 뽑는 식 (5.23)–(5.27), 누적 확률이 pp를 넘는 가장 작은 집합을 후보로 쓰는 top-p 식 (5.28), 분포의 날카로움을 조절하는 온도 식 (5.29)가 이어진다. '샘플링과 그리디는 무엇이 다른가' §와 '샘플링은 AI에서 어디에 쓰이나' §가 기댄다.

영상 노트

영상 노트
  • 00:00 오프닝 질문 — "LLM은 다음 토큰을 어떻게 뽑을까?"
  • 00:40 1미터 자를 50·30·20cm로 나누기 (직관)
  • 01:30 식 (2)·식 (3) 판서와 그림 1 — 누적 0.5·0.8·1.0, u=0.63u = 0.63은 두 번째 칸
  • 03:00 식 (4) — 칸의 폭이 곧 확률
  • 04:00 그림 2·그림 3 — 10번은 (0.3, 0.4, 0.3), 10,000번은 (0.499, 0.2989, 0.2021), 시드 백 개 중 56번이 0.1 넘게
  • 05:30 시드 — 같은 uu라도 분포가 다르면 10개 중 4개가 바뀐다
  • 06:30 식 (5) 그리디와 샘플링, do_sample · 마무리

촬영 계획이다. 업로드한 뒤 실제 타임스탬프로 바꾼다.

지도에서의 위치

시그마 (수열의 합)미적분최댓값과 argmax예정소프트맥스AItop-k·top-p 샘플링예정조건부 확률확률·통계확률의 연쇄 법칙확률·통계분포에서 샘플링지금 이 페이지
선수 개념
이 페이지
다음 개념
완성예정허브(일족)이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-04 · 에이전트 초안 (수식 5, 그림 3, 코드랩 1)
  2. 2026-11-05 · 검수 — 더 읽기 URL 6개(Devroye 2·3장, NumPy choice, PyTorch 2.15 multinomial·재현성 노트, Transformers 생성 설정 기본값 do_sample·top_k·top_p·temperature, Holtzman 2020) 확인, Wikidata Q7254441, 허브 페이지 링크, 받은 질문은 허브로, 그림(SVG·OG 이미지)을 로컬 글꼴로 다시 생성
  3. 2026-11-05 · 남은 질문(연속 분포에서 뽑기)을 확률분포 페이지(예정)로 넘김
  4. 2026-11-05 · 더 읽기에 교재(Foundations of Large Language Models) 추가
  5. 2026-11-05 · 선수에 argmax(예정) 연결
  6. 2026-11-05 · 직접 검토 — 완성으로 올림
  7. 2026-11-13 · 독자 패널 리뷰 반영 — hook을 LLM 독자의 질문으로, top-k·top-p·temperature 질문 블록, 샘플 a가 다른 장의 사건 a와 다르다는 한 문장, 역변환 샘플링 문장을 식 (3) 뒤로, 조건부 확률 페이지 링크 (에이전트 수정, 다시 검토 전)