AI텍스트의 단어 집합#287

텍스트의 단어 집합

Word Sets for Text

텍스트의 단어 집합(단어집합)은 정한 처리 규칙을 거친 단어를 중복 없이 모은 집합이다. 고정한 어휘 순서에 따라 0과 1의 벡터로 나타내고, 집합 연산·원-핫 벡터와 연결한다. 불용어·빈 문서·처음 보는 단어를 처리할 때 잃는 정보도 확인한다.

읽는 시간
약 8분
선수 개념
집합과 원소집합의 연산

직관 — 문서마다 있는 물건에만 표시한다

직관

가방에 공책이 두 권 있어도 ‘공책이 있는가’라는 질문에는 한 번만 표시한다. 단어 집합도 문서에 어떤 단어가 있는지를 남긴다. 반복 횟수와 등장 순서는 다른 기록이 있어야 되찾을 수 있다.

집합으로 문서를 나타내면 교집합과 합집합을 이용해 공통 단어를 찾을 수 있다. 다만 어떤 문자열을 한 단어로 셀지 먼저 정해야 한다. 인공지능은 글을 이렇게 만든 수의 배열로 받아 계산하므로, 이 첫 선택이 모델이 보는 자료를 바꾼다.

텍스트의 단어 집합은 처리 규칙을 거친 단어를 중복 없이 모은 것이다

텍스트의 단어 집합은 문장에서 불용어를 제거하고 남은 단어를 중복 없이 모은 집합이다. 교과서는 이것을 붙여 써서 ‘단어집합’이라 부른다. 분석 목적상 제외하기로 정한 단어를 불용어라고 하며, 무엇을 불용어로 볼지는 분석 프로그램과 목적마다 다르다.

교과서는 문장을 띄어쓰기 기준으로 어절로 나누고, 각 어절을 기본 사전형 단어로 바꾼 뒤 조사 같은 불용어를 지운다. ‘나는 숲에서 산책을 했다.’를 이 순서로 처리하면 다음과 같다. 여기서는 ‘나’와 조사를 불용어로 정했다.

단계결과
어절로 나누기나는, 숲에서, 산책을, 했다
기본형과 조사로 나누기나, 는, 숲, 에서, 산책, 을, 하다
불용어 지우기숲, 산책, 하다

기본형으로 바꾸지 않고 띄어쓰기로만 나누면 같은 단어가 다른 원소가 된다. ‘숲에서 걷다.’와 ‘숲이 좋다.’를 공백으로만 나누면 {숲에서, 걷다}와 {숲이, 좋다}여서 공통 원소가 없다. 기본형으로 바꾸고 조사를 지우면 {숲, 걷다}와 {숲, 좋다}가 되어 교집합이 {숲}이다.

문장을 분석 단위로 나누는 일을 토큰화라고 하고, 나뉜 단위를 토큰이라고 한다. 아래 세 문서는 실제 이용자의 후기가 아니라 이 처리를 이미 마친 꼴로 직접 만든 학습용 문서다. 그래서 ① 마침표를 지우고 ② 공백으로 나누고 ③ ‘나는’, ‘그리고’를 지우는 것만으로 같은 결과가 나온다.

문서원문
A나는 숲 산책 숲 좋다.
B나는 바다 산책 좋다.
C바다 바다 그리고 조용하다.
문서처리 후 순서 있는 목록단어 집합
A숲, 산책, 숲, 좋다{숲, 산책, 좋다}
B바다, 산책, 좋다{바다, 산책, 좋다}
C바다, 바다, 조용하다{바다, 조용하다}

세 집합을 각각 SA,SB,SCS_A,S_B,S_C라 하면 세 집합의 합집합은 다음과 같다. 교과서는 이것을 전체집합 UU라 부른다.

U=SA∪SB∪SC={숲, 바다, 산책, 좋다, 조용하다}.(1)U=S_A\cup S_B\cup S_C =\{\text{숲, 바다, 산책, 좋다, 조용하다}\}.\tag{1}

집합은 원소의 순서를 구별하지 않는다. 수로 바꾸려면 이 집합과 별도로 순서 있는 어휘 목록을 고정해야 한다. 이 글에서는 (w1,w2,w3,w4,w5)=(숲, 바다, 산책, 좋다, 조용하다)(w_1,w_2,w_3,w_4,w_5)=(\text{숲, 바다, 산책, 좋다, 조용하다})로 정한다.

정의
기호이름원어뜻
SAS_A단어 집합word set문서 A의 처리 후 단어를 중복 없이 모은 집합
n(SA)n(S_A)원소의 개수number of elements집합 SAS_A에 있는 서로 다른 단어의 수
UU어휘 집합(전체집합)vocabulary비교할 세 문서에 있는 단어 전체
wjw_j어휘 목록의 단어vocabulary entry고정한 목록의 jj번째 단어
xA\mathbf{x}_A존재 벡터binary presence vector문서 A의 단어 존재 여부를 순서대로 적은 수의 배열
xAjx_{Aj}성분component문서 A에 wjw_j가 있으면 1, 없으면 0

그림 1은 문서 A가 집합과 벡터로 바뀌는 과정이다. 목록에는 토큰이 4개지만 ‘숲’(w1w_1)이 두 번 나와 두 화살표가 한 원소로 모인다. 그래서 n(SA)=3n(S_A)=3이다. 반복된 단어는 집합 안에서 원소 하나로 합쳐진다.

문서 A의 처리 후 목록 w_1, w_3, w_1, w_4가 단어 집합 S_A와 존재 벡터 x_A로 바뀌는 과정이다. 두 번 나온 w_1(숲)이 원소 하나로 합쳐지며, 오른쪽 수는 차례로 토큰 수 4, 원소 수 3, 성분 수 5다.
그림 1 문서 A의 처리 후 목록 w1,w3,w1,w4w_1, w_3, w_1, w_4가 단어 집합 SAS_A와 존재 벡터 xA\mathbf{x}_A로 바뀌는 과정이다. 두 번 나온 w1w_1(숲)이 원소 하나로 합쳐지며, 오른쪽 수는 차례로 토큰 수 4, 원소 수 3, 성분 수 5다. figures/list_to_set.py

단어 집합의 연산으로 공통 단어와 한 문서에만 있는 단어를 찾는다

교집합을 구하면 두 문서의 공통 단어가, 차집합을 구하면 한 문서에만 있는 단어가 나온다. 그림 2에서 SA∩SB={산책, 좋다}S_A\cap S_B=\{\text{산책, 좋다}\}이고 SA−SB={숲}S_A-S_B=\{\text{숲}\}이다.

세 단어 집합 S_A, S_B, S_C의 벤 다이어그램이다. 색칠한 부분이 S_A와 S_B의 공통 원소 w_3(산책)·w_4(좋다)이고, S_A와 S_C에는 공통 원소가 없다.
그림 2 세 단어 집합 SA,SB,SCS_A, S_B, S_C의 벤 다이어그램이다. 색칠한 부분이 SAS_A와 SBS_B의 공통 원소 w3w_3(산책)·w4w_4(좋다)이고, SAS_A와 SCS_C에는 공통 원소가 없다. figures/word_set_venn.py

A와 C는 공통 단어가 없으므로 SA∩SC=∅S_A\cap S_C=\varnothing이다. 공통 원소가 없는 두 집합을 서로소라고 한다. B와 C는 SB∩SC={바다}S_B\cap S_C=\{\text{바다}\}이고, SB−SA={바다}S_B-S_A=\{\text{바다}\}는 B에만 있고 A에는 없는 단어다.

합집합 SA∪SBS_A\cup S_B는 숲·바다·산책·좋다로 원소가 4개다. 세 집합을 모두 합하면 식 (1)의 UU가 된다. 공통 원소 수를 합집합의 원소 수와 견주는 생각은 텍스트 유사도의 자카드 유사도로 이어진다.

텍스트의 단어 집합을 왜 같은 순서의 0과 1로 바꿀까?

같은 순서의 0과 1로 바꾸면 A, B, C가 길이 5인 수 배열 셋이 되어 자리별로 비교할 수 있다. 어휘 목록의 각 단어가 문서에 있으면 1, 없으면 0을 놓는다.

여러 개의 수를 순서대로 나열한 것을 이 단원에서는 벡터라고 한다. 괄호 안의 각 수를 성분, 성분의 개수를 차원이라고 한다. 화살표의 방향이나 물리적인 힘을 먼저 배울 필요는 없다.

xA=(1,0,1,1,0),xB=(0,1,1,1,0),xC=(0,1,0,0,1).(2)\begin{aligned} \mathbf{x}_A&=(1,0,1,1,0),\\ \mathbf{x}_B&=(0,1,1,1,0),\\ \mathbf{x}_C&=(0,1,0,0,1). \end{aligned}\tag{2}

교과서는 벡터를 a⃗=(a1,a2,…,an)\vec{a}=(a_1,a_2,\ldots,a_n)처럼 화살표를 얹어 쓴다. 이 페이지의 굵은 글자 xA\mathbf{x}_A와 같은 뜻이다. 식 (2)의 세 벡터는 모두 5차원이다. A의 첫째 성분 xA1x_{A1}이 1인 것은 첫째 단어 ‘숲’이 A에 있다는 뜻이며, ‘숲’이 두 번 나와도 1이다.

열은 순서대로 숲·바다·산책·좋다·조용하다이며, 행 A·B·C의 1은 해당 단어가 있음을 뜻한다. 중복 횟수는 표시하지 않는다.
그림 3 열은 순서대로 숲·바다·산책·좋다·조용하다이며, 행 A·B·C의 1은 해당 단어가 있음을 뜻한다. 중복 횟수는 표시하지 않는다. figures/presence_table.py

그림 3의 한 열은 한 단어를 뜻한다. 그래서 집합 연산을 벡터의 자리에서 읽을 수 있다. 존재 벡터의 성분을 모두 더하면 1의 개수, 곧 어휘 안의 원소 수다. A는 1+0+1+1+0=3=n(SA)1+0+1+1+0=3=n(S_A)이다.

두 벡터에서 같은 자리가 모두 1인 성분만 1로 두면 교집합의 존재 벡터가 된다. A와 B에서는 셋째와 넷째 자리만 남는다.

xA=(1,0,1,1,0), xB=(0,1,1,1,0) ⟶ (0,0,1,1,0).(3)\mathbf{x}_A=(1,0,1,1,0),\ \mathbf{x}_B=(0,1,1,1,0) \ \longrightarrow\ (0,0,1,1,0).\tag{3}

식 (3)의 결과는 SA∩SB={산책, 좋다}S_A\cap S_B=\{\text{산책, 좋다}\}의 존재 벡터다. 하나라도 1인 자리를 1로 두면 합집합 (1,1,1,1,0)(1,1,1,1,0)이 되고, 그 성분의 합 4가 SA∪SBS_A\cup S_B의 원소 수다. 교과서는 단어의 등장 여부를 0 또는 1로 나타내는 이 방식을 ‘단어집합 모형’이라고 부른다.

원-핫 벡터는 단어 하나를 나타내는 벡터다

원-핫 벡터는 어휘의 원소 수를 차원으로 하고, 나타낼 단어의 자리에만 1, 나머지 자리에 0을 놓은 벡터다. wjw_j의 원-핫 벡터를 ej\mathbf{e}_j라 쓰면 ‘숲’은 e1=(1,0,0,0,0)\mathbf{e}_1=(1,0,0,0,0)이다.

차원이 같은 두 벡터의 덧셈은 같은 자리의 성분끼리 더하는 것이다. 문서 A의 서로 다른 단어 셋의 원-핫 벡터를 더하면 존재 벡터가 된다.

e1+e3+e4=(1,0,1,1,0)=xA.(4)\mathbf{e}_1+\mathbf{e}_3+\mathbf{e}_4=(1,0,1,1,0)=\mathbf{x}_A.\tag{4}
문서 A의 서로 다른 단어 숲·산책·좋다의 원-핫 벡터 e_1, e_3, e_4를 같은 자리끼리 더하면 존재 벡터 x_A가 된다.
그림 4 문서 A의 서로 다른 단어 숲·산책·좋다의 원-핫 벡터 e1,e3,e4\mathbf{e}_1, \mathbf{e}_3, \mathbf{e}_4를 같은 자리끼리 더하면 존재 벡터 xA\mathbf{x}_A가 된다. figures/one_hot_sum.py

그림 4에서 각 원-핫 벡터는 1을 정확히 하나 갖는다. 반복된 ‘숲’까지 토큰 네 개의 원-핫 벡터를 더하면 e1+e3+e1+e4=(2,0,1,1,0)\mathbf{e}_1+\mathbf{e}_3+\mathbf{e}_1+\mathbf{e}_4=(2,0,1,1,0)으로 횟수가 남는다. 이것이 다음 글의 단어가방 모형이다.

원-핫 벡터는 단어 사이의 관계를 담지 않는다. 서로 다른 두 단어를 고르면 원-핫 벡터의 1은 같은 자리에 오지 않는다. 그래서 뜻이 가까운 단어끼리도 서로 무관한 것처럼 표현된다. 어휘가 커지면 벡터의 차원도 그만큼 커진다.

텍스트의 단어 집합을 비교하려면 어휘 순서를 고정해야 한다

같은 문서라도 어휘 순서가 다르면 다른 벡터가 된다. 순서를 문서마다 다르게 쓰면 다른 문서가 같은 벡터처럼 보일 수도 있다.

그림 5처럼 A만 ‘바다, 숲, 산책, 좋다, 조용하다’ 순서로 잘못 쓰면 (0,1,1,1,0)(0,1,1,1,0)이 된다. 이 배열은 원래 순서로 쓴 xB\mathbf{x}_B와 숫자가 같다. 하지만 첫째 자리가 뜻하는 단어가 달라 A와 B의 단어 집합은 다르다.

위는 바른 어휘 순서의 A, 가운데는 숲과 바다의 자리를 바꾼 순서의 A, 아래는 바른 순서의 B다. 순서를 A에만 바꾸면 A와 B의 배열이 같은 숫자 (0,1,1,1,0)이 된다.
그림 5 위는 바른 어휘 순서의 A, 가운데는 숲과 바다의 자리를 바꾼 순서의 A, 아래는 바른 순서의 B다. 순서를 A에만 바꾸면 A와 B의 배열이 같은 숫자 (0,1,1,1,0)(0,1,1,1,0)이 된다. figures/order_mismatch.py

두 벡터는 차원이 같고 대응하는 성분이 모두 같을 때 같다고 한다. 어휘가 비교할 문서의 단어를 모두 담고 모든 문서에 같은 어휘 순서를 쓰면, 각 자리가 한 단어의 존재 여부이므로 존재 벡터가 같은 것과 단어 집합이 같은 것은 같은 뜻이다. xA\mathbf{x}_A와 xB\mathbf{x}_B는 첫째 성분이 1과 0으로 달라 같은 벡터가 아니다.

핵심

텍스트의 단어 집합은 반복을 하나로 모으므로 존재 여부만 남긴다. 문서끼리 0과 1을 비교하려면 처리 규칙과 어휘 순서도 같아야 한다.

텍스트의 단어 집합에서 불용어는 항상 지워도 될까?

아니다. ‘안’을 불용어로 정해 지우면 ‘좋다’와 ‘안 좋다’가 같은 집합 {좋다}가 되어 반대 평가를 구별하지 못한다. 불용어는 모든 작업에 통하는 정답 목록이 아니라 분석 목적에 맞춰 검토하는 선택이다.

텍스트의 단어 집합이 비면 벡터를 만들 수 없을까?

고정된 어휘 목록이 있으면 빈 문서는 모든 성분이 0인 벡터로 나타낼 수 있다. 이 글의 다섯 단어 목록에서는 (0,0,0,0,0)(0,0,0,0,0)이다. 다만 뒤에서 이 벡터로 나눗셈을 하는 유사도는 정의되지 않을 수 있으므로 빈 문서 여부를 따로 기록한다.

텍스트의 단어 집합에 처음 보는 단어가 들어오면 어떻게 할까?

이 글에서는 기존 어휘에 없는 단어를 비교용 벡터에서 제외하고, 제외한 단어 목록을 별도로 남긴다. ‘숲 별빛’은 (1,0,0,0,0)(1,0,0,0,0)이고 ‘별빛’이 제외되었다고 기록한다. 어휘를 확장하는 정책도 가능하지만 그때는 모든 문서를 새 어휘 순서로 다시 표현해야 한다.

텍스트의 단어 집합의 흔한 오해

  • 집합의 원소 수는 문서의 전체 단어 수다. — A는 처리 후 토큰이 4개지만 n(SA)=3n(S_A)=3이다. 집합으로 바꾸며 반복 정보가 사라졌다.
  • 존재 벡터의 차원은 그 문서의 단어 수다. — 차원은 어휘 목록의 크기 5로 모든 문서가 같다. C는 서로 다른 단어가 2개지만 xC\mathbf{x}_C도 5차원이다.
  • 숫자로 바꾸면 문장의 뜻도 그대로 보존된다. — ‘고양이가 개를 쫓다’와 ‘개가 고양이를 쫓다’는 기본형으로 바꾸고 조사를 지우면 같은 집합 {고양이, 개, 쫓다}가 된다. 쫓는 쪽이 다르다는 정보는 존재 벡터만으로 되살릴 수 없다.

텍스트의 단어 집합은 다음 계산의 입력을 정한다

단어가방 모형은 같은 어휘 목록에 등장 횟수를 기록한다. 텍스트 유사도는 집합의 겹침이나 수 배열을 비교한다. 어느 방법이든 원문을 따로 보관해야 잘못된 분리나 삭제가 결과를 바꿨는지 되돌아볼 수 있다.

직접 해보기

다음 문항도 이 글의 처리 규칙과 어휘 순서 숲·바다·산책·좋다·조용하다를 쓴다.

  1. ‘나는 바다 숲 바다.’의 처리 후 목록, 단어 집합, 존재 벡터를 구하자.
  2. 문서 D의 단어 집합이 {바다, 산책, 조용하다}이다. D의 존재 벡터가 (a, 1, b−1, 0, 1)(a,\,1,\,b-1,\,0,\,1)과 같을 때 aa, bb와 벡터의 차원을 구하자.
  3. 어휘 목록만 ‘좋다, 숲, 바다, 산책, 조용하다’로 바꿀 때 문서 C의 벡터는 무엇인가?
  4. 식 (2)의 xB\mathbf{x}_B와 xC\mathbf{x}_C에서 교집합과 합집합의 존재 벡터를 구하고, 각각 어떤 단어 집합인지 말하자.
  5. ‘바다 별빛 별빛’을 기존 어휘로 나타내고, 벡터에서 없어진 정보를 설명하자.
답과 풀이
  1. 목록은 ‘바다, 숲, 바다’, 집합은 {바다, 숲}이다. 원래 어휘 순서로는 (1,1,0,0,0)(1,1,0,0,0)이다. 두 번째 ‘바다’는 집합에 새 원소를 더하지 않는다.
  2. D에는 바다·산책·조용하다가 있으므로 존재 벡터는 (0,1,1,0,1)(0,1,1,0,1)이다. 대응하는 성분이 같아야 하므로 a=0a=0, b−1=1b-1=1에서 b=2b=2다. 차원은 어휘 크기와 같은 5다.
  3. C에는 ‘바다’, ‘조용하다’가 있으므로 (0,0,1,0,1)(0,0,1,0,1)이다. 단어 집합은 같고 성분의 자리만 달라졌다.
  4. 둘 다 1인 자리는 둘째뿐이므로 교집합은 (0,1,0,0,0)(0,1,0,0,0), 곧 {바다}다. 하나라도 1인 자리를 모으면 (0,1,1,1,1)(0,1,1,1,1)이고, {바다, 산책, 좋다, 조용하다}로 원소가 4개다.
  5. (0,1,0,0,0)(0,1,0,0,0)이다. 제외 목록에는 ‘별빛’이 두 번 남는다. 벡터만 보면 별빛의 존재도, 두 번 반복했다는 사실도 알 수 없다.

더 읽기

영상 노트

영상 노트
  • 00:00 반복된 단어는 어디로 갈까 — 그림 1의 목록과 집합
  • 00:40 교과서식 처리: 어절, 기본형, 불용어
  • 01:30 그림 2의 벤 다이어그램으로 교집합·차집합 읽기
  • 02:20 식 (2)의 존재 벡터와 성분·차원, 식 (3)의 교집합 읽기
  • 03:10 식 (4)와 그림 4의 원-핫 벡터 합
  • 04:00 그림 5의 순서 반례와 벡터의 상등
  • 04:40 직접 해보기 2번 풀이

지도에서의 위치

부분집합기초수학집합과 원소기초수학집합의 연산기초수학텍스트의 단어 집합지금 이 페이지단어가방 모형AI
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안 — 교과 정의·계산·조건·새 연습 작성
  2. 2026-11-17 · 전수 검수 반영 — 교과서식 기본형·조사 처리, 집합 연산, 벡터의 성분·차원·상등(어휘가 문서 단어를 모두 담을 때로 한정), 원-핫 벡터, 순서 반례와 연습 5문항 보강 (에이전트 수정, 그림 1→5)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림