AITF-IDF의 교과 모형#289

TF-IDF의 교과 모형

School Model of TF-IDF

TF-IDF의 교과 모형은 단어 횟수에 전체 문서 수를 그 단어가 나온 문서 수로 나눈 값을 곱한다. 문서 빈도의 개수와 비율을 구별하고, 문서마다 점수가 큰 단어를 골라 핵심어를 찾는다. 대수를 배운 독자를 위한 로그형과의 차이도 확인한다.

읽는 시간
약 8분
선수 개념
단어가방 모형

직관 — 한 문서의 반복과 여러 문서의 흔함을 함께 본다

직관

모든 여행 후기에 쓰인 인사말보다 한 장소에서만 반복되는 특징이 검색에 도움이 될 수 있다. 먼저 후기 안에서 몇 번 나왔는지 센다. 다음으로 전체 후기 중 얼마나 널리 쓰였는지를 보고 가중치를 붙인다.

단어가방 모형의 횟수에 문서 모음 전체의 정보를 더한 것이 TF-IDF다. 인공지능이 문서에서 핵심어를 뽑거나 검색 결과의 순서를 정할 때 쓰는 대표적인 가중치다. 같은 이름이라도 책이나 도구에 따라 정규화·로그 사용 여부가 다르므로, 이 글은 씨마스 2022 개정 교과서의 횟수 TF와 N/DN/D인 IDF를 사용한다.

TF-IDF의 교과 모형은 TF에 상대 문서 빈도의 역수를 곱한다

문서 수가 N≥1N\ge1인 고정된 문서 모음을 생각하자. 단어 ww가 나온 문서의 개수를 D(w)D(w)라 하고, 적어도 한 문서에 있는 단어만 어휘로 삼는다. 그러면 1≤D(w)≤N1\le D(w)\le N이다.

IDF(w)=ND(w),TFIDF(w,d)=TF(w,d)ND(w).(1)\mathrm{IDF}(w)=\frac{N}{D(w)},\qquad \mathrm{TFIDF}(w,d)=\mathrm{TF}(w,d)\frac{N}{D(w)}.\tag{1}
정의
기호이름원어뜻
NN전체 문서 수corpus size점수를 정하는 기준 문서 모음의 크기
D(w)D(w)문서 빈도수document frequency, DF단어 ww가 한 번 이상 나온 문서의 개수
D(w)/ND(w)/N상대 문서 빈도relative document frequency전체 문서 중 ww를 포함하는 문서의 비율
TF(w,d)\mathrm{TF}(w,d)단어 빈도수term frequency문서 dd 안에서 ww가 나온 횟수
IDF(w)\mathrm{IDF}(w)역문서 빈도수inverse document frequency이 글에서는 D(w)/ND(w)/N의 역수
TFIDF(w,d)\mathrm{TFIDF}(w,d)중요도 점수TF-IDF weight같은 단어의 TF와 IDF를 곱한 값

교과서는 전체 문서 수를 nn, 문서 빈도수를 DF로 쓴다. 이 페이지의 NN, D(w)D(w)와 같다. 교과서의 계산은 다음 네 단계다.

  1. 문서마다 TF를 구한다.
  2. 단어마다 DF와 상대도수 D/ND/N을 구한다.
  3. 그 역수인 IDF를 구한다.
  4. 같은 칸끼리 TF와 IDF를 곱한다.

문서 빈도수는 개수 DD이고, 그 상대도수는 비율 D/ND/N이다. 여기서는 비율의 역수를 쓰므로 N/DN/D가 된다. 개수의 역수 1/D1/D와 수치가 같지 않다. NN이 고정되어 있다면 두 방식의 점수는 일정한 NN배 차이지만, 계산 답을 대조할 때는 그 차이를 없던 것으로 해서는 안 된다.

TF-IDF의 문서 빈도는 단어가 나온 횟수와 어떻게 다를까?

문서 빈도 DD는 단어가 나온 문서의 개수이고, 한 문서 안의 반복은 세지 않는다. 그래서 한 단어의 TF를 문서별로 더한 값은 DD보다 작아지지 않는다. 그 단어가 있는 문서는 TF 합에는 1 이상을, DD에는 정확히 1을 보태기 때문이다.

앞 글의 처리 후 문서를 다시 사용한다. A는 ‘숲 산책 숲 좋다’, B는 ‘바다 산책 좋다’, C는 ‘바다 바다 조용하다’다. 문서 수 N=3N=3이고 어휘 순서는 숲·바다·산책·좋다·조용하다로 고정한다.

‘바다’는 B에 한 번, C에 두 번 나와 TF의 합은 3이지만 포함 문서는 B와 C 두 개다. 따라서 D(바다)=2D(\text{바다})=2이다. 그림 1에서 숲·바다는 TF 합이 DD보다 크고, 한 문서에 한 번씩만 나온 산책·좋다·조용하다는 둘이 같다.

세 문서 A, B, C에서 단어별 TF의 합 SigmaTF와 문서 빈도 D를 나란히 놓은 막대다. 숲과 바다는 한 문서에서 반복되어 TF의 합이 D보다 크다.
그림 1 세 문서 A, B, C에서 단어별 TF의 합 Σ TF\Sigma\,\mathrm{TF}와 문서 빈도 DD를 나란히 놓은 막대다. 숲과 바다는 한 문서에서 반복되어 TF의 합이 DD보다 크다. figures/df_vs_total_tf.py

이미 그 단어가 있던 문서에 반복을 열 번 더해도 그 문서의 TF만 커지고 DD는 그대로다. C에 ‘바다’를 열 번 더 써도 D(바다)=2D(\text{바다})=2다. 그 단어가 없던 문서에 처음 넣어야 DD가 1 커진다.

세 문서의 TF-IDF를 한 칸씩 계산해 보자

TF 표에서 0보다 큰 칸을 단어마다 세어 DD를 구하고, N/DN/D로 IDF를 정한다. 그다음 TF와 IDF를 같은 열끼리 곱한다.

구분숲바다산책좋다조용하다
TF(A)20110
TF(B)01110
TF(C)02001
DF12221
D/ND/N1/31/32/32/32/32/32/32/31/31/3
IDF33/23/23/23/23/23/23

A의 ‘숲’은 TF가 2이고, 그 단어가 있는 문서는 A 하나이므로 IDF가 3/13/1이다. A의 세 칸을 계산하면 다음과 같다.

TFIDF(숲,A)=2×31=6,TFIDF(산책,A)=1×32=32,TFIDF(바다,A)=0×32=0.(2)\begin{aligned} \mathrm{TFIDF}(\text{숲},A)&=2\times\frac31=6,\\ \mathrm{TFIDF}(\text{산책},A)&=1\times\frac32=\frac32,\\ \mathrm{TFIDF}(\text{바다},A)&=0\times\frac32=0. \end{aligned}\tag{2}
위부터 A의 단어 횟수, 세 문서에서 구한 IDF, 두 값을 성분별로 곱한 TF-IDF다. 어휘 순서는 숲·바다·산책·좋다·조용하다이며 N은 3이다.
그림 2 위부터 A의 단어 횟수, 세 문서에서 구한 IDF, 두 값을 성분별로 곱한 TF-IDF다. 어휘 순서는 숲·바다·산책·좋다·조용하다이며 N은 3이다. figures/weight_steps.py

식 (2)와 같은 방법으로 모든 칸을 채우면 A는 (6,0,3/2,3/2,0)(6,0,3/2,3/2,0), B는 (0,3/2,3/2,3/2,0)(0,3/2,3/2,3/2,0), C는 (0,3,0,0,3)(0,3,0,0,3)이다. 그림 2는 A의 횟수와 가중치를 구분해 보여 준다. 0은 그 문서에서 단어가 없어서 생긴 것이며, 흔한 단어라서 0이 되는 것은 아니다.

TF-IDF에서 덜 흔한 단어의 가중치는 왜 클까?

양수 DD가 작을수록 같은 NN을 나눈 몫 N/DN/D가 커지기 때문이다. 한 문서에만 있으면 IDF는 NN, 모든 문서에 있으면 N/N=1N/N=1이다. 이 자료에서 ‘좋다’가 C에도 있었다면 D=3D=3이 되어 IDF는 3/3=13/3=1이다.

따라서 이 관례에서는 1≤IDF≤N1\le\mathrm{IDF}\le N이며 흔한 단어도 가중치가 0이 되지 않는다. 단, TF가 더 큰 단어가 있으므로 희소성만으로 최종 점수 순서가 결정되지는 않는다.

또한 ‘드물다’와 ‘의미가 중요하다’는 같은 말이 아니다. 한 문서에만 들어간 오타도 높은 가중치를 받을 수 있다. 점수로 후보를 좁힌 뒤 원문에서 실제 의미를 확인해야 한다.

TF-IDF로 문서마다 핵심어를 고른다

TF-IDF는 한 문서 안의 단어를 비교하는 데 쓴다. 문서마다 TF-IDF가 큰 단어를 그 문서의 핵심어 후보로 고른다. 교과서도 이렇게 고른 단어로 각 후기를 요약한다.

위는 세 문서의 TF, 아래는 TF-IDF다. 문서마다 가장 큰 칸을 색으로 표시했다. C에서는 TF로는 w_2(바다)만 크지만, TF-IDF로는 w_2와 w_5(조용하다)가 3으로 같다.
그림 3 위는 세 문서의 TF, 아래는 TF-IDF다. 문서마다 가장 큰 칸을 색으로 표시했다. C에서는 TF로는 w2w_2(바다)만 크지만, TF-IDF로는 w2w_2와 w5w_5(조용하다)가 3으로 같다. figures/keyword_tables.py

그림 3에서 A의 핵심어는 TF-IDF가 6인 ‘숲’이다. B는 바다·산책·좋다가 모두 3/23/2라 이 자료만으로는 하나를 고를 수 없다. C에서 ‘바다’는 TF가 2지만 B에도 있어 IDF가 3/23/2이고, ‘조용하다’는 TF가 1이지만 C에만 있어 IDF가 3이다. 그래서 TF로는 바다가 두 배였던 두 단어가 TF-IDF로는 3으로 같아진다.

핵심

TF-IDF의 교과 모형은 문서 내 횟수에 N/DN/D를 곱한다. 모든 문서에 있는 단어의 IDF는 1이며, TF-IDF가 0이 되려면 그 문서에서의 TF가 0이어야 한다.

TF-IDF는 몇 이상이면 중요한 단어일까?

TF-IDF에는 중요한 단어를 가르는 정해진 기준값이 없다. 교과서도 분석 목적에 따라 문서 안에서 상대적인 기준을 정하라고 안내한다. 이 글의 A에서는 6인 ‘숲’이, C에서는 3인 바다·조용하다가 가장 크다.

TF-IDF 도구의 답이 이 계산과 다른 이유는 무엇일까?

TF-IDF 도구는 로그를 쓰거나, 0으로 나누는 일을 피하려 수를 더하거나, 벡터 전체 길이를 정규화해 이 글의 계산과 답이 다를 수 있다. 이 글의 N/DN/D와 다른 정의를 쓴 결과를 곧바로 오답이라고 판단하지 않는다. 로그형은 아래 ‘대수를 배웠다면’ 절에서 따로 비교한다.

새 검색어가 들어오면 TF-IDF의 문서 수도 바꿀까?

이 글의 검색 활동에서는 기준 문서 모음과 DF를 고정하고 새 검색어나 새 문서의 TF만 계산한다. ‘바다 별빛 바다’는 TF가 (0,2,0,0,0)(0,2,0,0,0)이고 TF-IDF는 (0,3,0,0,0)(0,3,0,0,0)이며, 기준 어휘에 없는 ‘별빛’은 제외 목록에 따로 남긴다. 자료 모음 자체를 갱신하기로 했다면 N과 DF를 함께 다시 계산하고 문서 벡터도 갱신해야 한다.

대수를 배웠다면 로그로 IDF를 나타낼 수 있다

대수 과목을 이수한 학생은 로그를 이용해 IDF를 나타낼 수 있다. 교육과정이 이것을 선택 내용으로 두므로, 이 글의 표와 해보기에는 섞지 않는다. 로그의 뜻을 아는 독자를 위한 비교다.

IDFlog⁡(w)=log⁡10ND(w).(3)\mathrm{IDF}_{\log}(w)=\log_{10}\frac{N}{D(w)}.\tag{3}

문서가 아주 많으면 N/DN/D가 너무 커져 계산이 불편하다. N=1,000,000N=1{,}000{,}000이고 D=10D=10이면 N/D=100,000N/D=100{,}000이지만 상용로그를 취하면 5다. 교과서는 손 계산을 위해 밑이 10인 상용로그를 쓰고, 프로그래밍 도구는 대부분 자연로그를 쓴다고 안내한다.

문서 수 N=10일 때 문서 빈도 D에 따른 교과 모형의 IDF N/D(위)와 상용로그형 log_10(N/D)(아래)다. 점선은 각각 1과 0이며, D=N에서 위는 1, 아래는 0이 된다.
그림 4 문서 수 N=10N=10일 때 문서 빈도 DD에 따른 교과 모형의 IDF N/DN/D(위)와 상용로그형 log⁡10(N/D)\log_{10}(N/D)(아래)다. 점선은 각각 1과 0이며, D=ND=N에서 위는 1, 아래는 0이 된다. figures/idf_curve.py

그림 4에서 두 방식 모두 DD가 커질수록 IDF가 작아진다. 차이는 끝점에 있다. D=ND=N이면 N/D=1N/D=1이지만 log⁡101=0\log_{10}1=0이다. 그래서 로그형에서는 D=ND=N인 단어의 TF-IDF가 0이 되고, 교과 모형에서는 TF와 같은 값이 남는다.

IDF의 순서는 같아도 TF를 곱한 점수의 순서는 달라질 수 있다. C의 바다와 조용하다는 교과 모형에서 3으로 같지만, 상용로그형에서는 2log⁡1032≈0.352\log_{10}\frac32\approx0.35와 log⁡103≈0.48\log_{10}3\approx0.48로 조용하다가 더 크다. 그래서 두 방식의 수치를 한 표에 섞지 않는다.

TF-IDF의 교과 모형의 흔한 오해

  • TF-IDF의 붙임표는 뺄셈 기호다. — 식 (1)의 연산은 곱셈이다. A의 숲 점수는 2−32-3이 아니라 2×3=62\times3=6이다.
  • 점수가 높으면 글쓴이의 의도까지 알아낸 것이다. — 계산은 정해 둔 어휘와 문서별 빈도에만 의존한다. 오타·비꼼·단어 순서를 구별하는 규칙은 식 (1)에 들어 있지 않다.

TF-IDF를 표 계산으로 확인할 때는 조건을 고정한다

단어별로 TF가 0보다 큰 문서 칸을 세면 DF가 된다. N을 DF로 나눈 행을 만든 뒤 각 TF 행과 성분별로 곱하면 된다. 문서 전체의 횟수를 더한 수와 DF를 혼동하지 않았는지, 빈 문서를 어떻게 포함했는지 기록한다.

계산된 배열은 텍스트 유사도의 입력으로도 쓸 수 있으나 비교하는 모든 문서에 같은 가중치 규칙을 적용해야 한다. 감성 점수와는 목적이 다르므로 사전 기반 감성 분석의 결과를 대신하지 않는다.

직접 해보기

  1. 문서가 4개이고 한 단어의 문서별 TF가 (2,0,1,0)(2,0,1,0)이다. DF, IDF, 첫 문서의 TF-IDF를 구하자.
  2. 같은 자료에서 모든 문서에 한 번씩 나오는 단어의 IDF와 각 문서의 점수는 무엇인가?
  3. 1번에서 첫 문서의 TF만 2에서 7로 바꾸면 DF와 첫 문서의 점수는 어떻게 바뀌는가?
  4. 1번에 이 단어가 전혀 없는 새 문서 하나를 추가하고 기준 자료를 갱신했다. 첫 문서의 TF를 원래 2로 둘 때 새 IDF와 점수는 무엇인가?
  5. 세 후기 P, Q, R의 TF가 다음과 같다. 문서마다 TF-IDF가 가장 큰 단어를 구하고, P에서 TF가 가장 큰 단어와 비교하자.
구분맛바삭친절배달
TF(P)2100
TF(Q)1020
TF(R)1001
답과 풀이
  1. 양수인 TF가 두 문서에 있으므로 DF는 2다. IDF는 4/2=24/2=2, 첫 점수는 2×2=42\times2=4다.
  2. DF는 4, IDF는 4/4=14/4=1, 각 점수는 1×1=11\times1=1이다.
  3. 여전히 두 문서에 있으므로 DF는 2다. 첫 점수만 7×2=147\times2=14가 된다.
  4. N=5N=5, DF는 2이므로 IDF는 5/25/2다. 첫 점수는 2×5/2=52\times5/2=5다. 기준 문서 모음이 바뀌면 기존 문서의 점수도 변할 수 있다.
  5. DF는 맛 3, 나머지 셋은 1이므로 IDF는 맛 3/3=13/3=1, 나머지는 3/1=33/1=3이다. TF-IDF는 P가 (2,3,0,0)(2,3,0,0), Q가 (1,0,6,0)(1,0,6,0), R이 (1,0,0,3)(1,0,0,3)이다. 가장 큰 단어는 P 바삭, Q 친절, R 배달이다. P에서 TF가 가장 큰 단어는 ‘맛’이지만, 세 후기에 모두 있어 IDF가 1이라 ‘바삭’의 3보다 작아진다.

더 읽기

  • 교육부, 2022 개정 수학과 교육과정 — 인공지능 수학 [12인수02-02]와 적용 시 고려 사항(대수 이수자의 로그형 IDF). 이 글의 교과 범위와 도구 활동의 근거다.
  • 씨마스, 고등학교 인공지능 수학 57–61쪽 — 윤상운 외, 2022 개정판. TF·DF·상대도수·IDF의 네 단계, 문서별 중요 단어 추출, TF-IDF 기준값 안내, 로그형 IDF를 대조했다. 문서·문항·그림의 수치는 이 글에서 새로 구성했다.
  • scikit-learn, TfidfTransformer 공식 문서 — 로그·문서 수 보정·벡터 정규화 설정을 설명한다. 도구 기본값은 이 글의 N/DN/D와 다르므로 수치 답을 그대로 대조하지 않는다.

영상 노트

영상 노트
  • 00:00 흔한 단어의 점수는 0일까 — 직관과 식 (1)
  • 00:40 교과서 네 단계와 DD, D/ND/N, N/DN/D 구별
  • 01:30 그림 1의 TF 합과 문서 빈도 비교
  • 02:20 표와 식 (2), 그림 2로 A의 칸 계산
  • 03:10 그림 3의 문서별 핵심어, C에서 같아지는 두 점수
  • 04:00 식 (3)과 그림 4의 로그형 비교
  • 04:50 직접 해보기 5번 풀이

지도에서의 위치

텍스트의 단어 집합AI단어가방 모형AITF-IDF의 교과 모형지금 이 페이지
선수 개념
이 페이지
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안 — 교과 정의·계산·조건·새 연습 작성
  2. 2026-11-17 · 전수 검수 반영 — 교과서 4단계와 상대도수 행, 문서 빈도와 TF 합의 구별, 문서별 핵심어 고르기, 기준값 질문, 대수 이수자의 로그형, 고정 기준의 새 문서 예와 연습 5문항 보강 (에이전트 수정, 그림 1→4)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림