직관 — 기록표의 빈칸에도 사정이 있다
도서관에서 기다린 시간을 적은 기록표가 있다. 0분은 바로 안내를 받은 방문이고, 빈칸은 시간을 알 수 없는 방문이다. 칸을 보기 좋게 채우는 일이 기록의 뜻을 바꾸어서는 안 된다.
방문 한 번이 관측 하나이고, 대기시간 열이 측정하려는 값이다. 자료의 척도를 아는 것에 더해 어떤 방문을 언제 어떻게 기록할지 정해야 한다. 이 글의 대기시간은 절차를 확인하려고 만든 가상 자료이며 실제 도서관 조사 결과가 아니다.
자료 수집 설계는 질문과 기록 사이의 약속이다
자료 수집 설계는 탐구 질문에 답할 수 있도록 대상·기간·관측 단위·수집 방법과 기록 규칙을 미리 정하는 과정이다. 관측 단위는 기록 한 개가 가리키는 대상이다. 사람별 방문 횟수를 묻는 조사와 방문별 대기시간을 재는 조사는 한 행의 뜻부터 다르다.
질문을 ‘우리 학교 도서관에서 다음 주 월요일부터 금요일까지 점심 운영 시간에 안내를 받은 방문의 대기시간은 어떠한가?’로 정해 보자. 관측 단위는 방문 한 번, 측정 시작은 줄에 선 때, 끝은 안내가 시작된 때다. 초 단위로 재며 날짜별 운영 시간도 설계서에 적는다. 주말·방과 후나 줄을 떠나 안내를 받지 않은 방문까지 이 결과로 설명하지 않는다.
모든 해당 방문을 기록하기 어렵다면 먼저 조사 가능한 방문을 빠뜨리지 않는 표본틀을 만들 방법을 정한다. 시간대별 차이를 놓치기 쉬운 상황은 층화임의추출, 순서대로 일정 간격을 두고 뽑을 때의 무작위 시작과 주기성은 계통추출에서 확인한다. 조사하기 편한 시간만 고르면 그 시간 밖의 방문을 대표한다고 말하기 어렵다.
질문에 따라 여섯 수집 방법을 선택한다
직접 새 자료를 얻는 경로와 이미 만들어진 자료를 이용하는 경로가 있다. 아래 방법은 서로 완전히 갈라진 여섯 상자가 아니다. 한 실험 안에서 관찰·측정을 함께 하고, 정해진 설문 문항을 면접으로 물을 수도 있다.
| 방법 | 무엇을 하는가? | 질문에 맞는 선택과 한계 |
|---|---|---|
| 실험 | 조건을 의도적으로 바꾸고 결과를 비교 | 안내문 두 가지의 효과를 비교할 때. 다른 조건과 배정 방법도 정함 |
| 관찰 | 조건을 바꾸지 않고 일어나는 일을 기록 | 줄에 서거나 안내받는 행동을 기록할 때. 행동만으로 이유를 단정하지 않음 |
| 측정 | 정한 단위와 도구로 양을 잼 | 시계로 대기시간을 잴 때. 시작·끝과 정밀도를 통일함 |
| 설문조사 | 정해진 질문으로 여러 응답을 수집 | 희망 운영 시간·만족도를 물을 때. 질문 문구와 미응답 영향을 확인함 |
| 인터뷰 | 대화를 통해 이유와 경험을 자세히 기록 | 기다리다 떠난 이유를 알아볼 때. 소수 인터뷰를 곧바로 전체 비율로 읽지 않음 |
| 2차 자료 수집 | 다른 목적이나 조사에서 만들어진 기존 자료를 이용 | 과거 연도별 방문 기록을 볼 때. 대상·단위·집계 방식이 같은지 확인함 |
설문지를 만들어 응답을 받는 방법을 설문지법, 보고서·통계표 같은 기존 문헌에서 자료를 모으는 방법을 문헌연구법이라 한다. 이미 있는 자료를 쓰면 시간을 아낄 수 있지만, 현재 질문과 자료의 정의가 맞아야 한다. ‘방문 건수’와 ‘중복을 제외한 이용자 수’를 같은 수로 비교해서는 안 된다.
자료 수집에서 실험과 측정은 어떻게 다른가요?
실험은 조건을 바꾸어 비교하는 설계이고, 측정은 양을 재는 행위다. 안내문 A와 B를 비교하는 실험에서도 각 방문의 대기시간을 초로 측정할 수 있다. 조건을 바꾸지 않고 현재 대기시간만 재는 것도 측정이다.
임의추출과 무작위 배정은 다른 단계다
표본추출은 누구 또는 무엇을 조사에 포함할지 정한다. 교과서는 각 대상이 같은 확률로 뽑히게 하는 방법을 임의추출이라 한다. 실험의 무작위 배정은 이미 포함된 대상이 어느 조건을 받을지 우연으로 정한다. 그림 1은 두 단계를 차례로 보인다.
figures/sampling_vs_assignment.py참여를 자원한 사람들을 두 안내문에 무작위로 배정하더라도, 참여자들이 학교 전체에서 임의추출된 것은 아니다. 두 단계가 각각 허락하는 결론은 다음과 같다.
| 무작위 배정을 했다 | 무작위 배정을 하지 않았다 | |
|---|---|---|
| 임의추출을 했다 | 조건의 효과를 말하고 모집단으로 넓힌다 | 모집단에서의 관련만 말한다 |
| 임의추출을 하지 않았다 | 조건의 효과를 참여자 안에서만 말한다 | 참여자 안에서의 관련만 말한다 |
무작위 배정은 집단 사이의 체계적인 차이를 줄이려는 방법이다. 유한한 두 집단의 모든 특성이 정확히 같아진다는 보장은 없으므로, 우연한 차이와 기록 조건도 함께 남긴다.
무작위로 배정하지 않은 두 집단의 차이는 왜 원인의 증거가 아닌가
무작위로 배정하지 않으면 두 집단의 차이가 비교하려는 조건이 아닌 다른 조건에서도 생길 수 있기 때문이다. 아래 가상 기록에서 안내문 A의 평균 대기시간은 B보다 2.4분 짧지만, 그 차이는 전부 날의 종류에서 나온다. 도서관이 지난달 안내문 A와 B 중 하나를 날마다 사서의 판단으로 골라 붙인 실험에서, 사서는 여유 있는 한산한 날에 주로 새 안내문 A를 붙였다.
| 날의 종류 | A 방문 수 | A 평균 대기 | B 방문 수 | B 평균 대기 |
|---|---|---|---|---|
| 한산한 날 | 8 | 2분 | 2 | 2분 |
| 붐비는 날 | 2 | 6분 | 8 | 6분 |
안내문별 전체 평균 대기시간을 , 라 하자. 날의 종류마다 방문 수와 평균을 곱해 더한 뒤 전체 방문 수 10으로 나눈다.
전체 평균은 식 (1)처럼 2.4분 차이가 나지만, 그림 2처럼 같은 종류의 날 안에서는 두 안내문의 평균이 2분과 2분, 6분과 6분으로 같다. 차이는 안내문이 아니라 A가 한산한 날에 몰린 데서 나왔다. 이처럼 비교하는 조건과도 관련되고 결과에도 영향을 주는 다른 조건을 교란 요인이라 한다.
figures/confounding_day_type.py두 양이 함께 움직이는 상관관계만으로 원인을 말할 수 없는 이유가 이것이다. 날마다 동전을 던져 안내문을 정하면 한산한 날과 붐비는 날이 두 안내문에 고르게 나뉠 가능성이 커진다. 교란 요인을 미리 안다면 날의 종류마다 나누어 배정할 수도 있다. 수집 설계가 허용하는 결론의 범위는 통계적 탐구의 마지막 해석에 남긴다.
설문 문항은 한 가지를 중립적으로 묻는다
‘개선된 편리한 도서관의 대기시간과 시설에 만족하나요?’에는 세 문제가 있다. ‘개선된 편리한’은 긍정 응답을 유도하고, 대기시간과 시설은 서로 다른 질문이며, 언제의 경험인지도 없다.
이를 다음처럼 나눌 수 있다. 각 질문의 대상은 지난 7일 동안 해당 도서관 안내를 이용한 응답자로 정하고, 이용 경험이 없으면 별도 항목을 선택한 뒤 경험 질문을 건너뛰게 한다.
- ‘지난 7일 동안 가장 최근에 안내받은 방문의 대기시간에 얼마나 만족했나요?’ — 매우 불만족·불만족·보통·만족·매우 만족.
- ‘그 방문에서 도서관 시설에 얼마나 만족했나요?’ — 같은 다섯 단계.
‘기억나지 않음’과 ‘응답하고 싶지 않음’도 숫자 0점과 구별한다. 시간을 회상하여 묻는다면 ‘몇 분’인지 단위를 밝히고, 정확한 시간과 기억에 의한 추정도 구별한다.
시간 구간을 선택지로 줄 때는 경계가 겹치지도 빠지지도 않아야 한다. 그림 3의 (a)처럼 ‘0~5분, 5~10분, 10분 이상’으로 쓰면 정확히 5분인 사람은 두 칸에 답할 수 있다. (b)처럼 ‘0~4분, 5~9분’으로 쓰면 4분 30초는 고를 칸이 없다. (c)의 ‘5분 미만·5분 이상 10분 미만·10분 이상’은 모든 시간을 정확히 한 칸에 넣는다.
figures/answer_options_boundaries.py본조사 전에 소수에게 문항을 읽고 자기 말로 설명하게 하는 예비조사를 해 보자. 질문을 다르게 이해한 부분과 빠진 선택지를 찾아 고친 뒤 최종 문항·배포 방법·기간을 고정한다. 응답 결과를 본 뒤 원하는 답이 늘도록 문항을 고치고 같은 조사처럼 합치지는 않는다.
응답하지 않은 사람이 많으면 결론의 범위가 넓어진다
뽑은 대상이 답하지 않는 무응답이 있으면, 응답자만의 요약은 뽑은 사람 전체의 값을 정하지 못한다. 무응답자의 값을 모르기 때문이다. 그 폭을 수로 확인해 보자.
뽑은 20명에게 ‘지난 7일 동안 안내를 기다리다 그냥 떠난 적이 있나요?’를 물었더니 12명이 답했고 그중 3명이 ‘예’였다. 응답자의 ‘예’ 비율은 다. 답하지 않은 8명이 모두 ‘아니요’일 때와 모두 ‘예’일 때, 20명 전체의 비율은 다음과 같다.
그림 4의 위 막대가 이 범위다. 16명이 답하고 그중 4명이 ‘예’였다면 응답자 비율은 같은 25%여도 범위는 20%에서 40%로 좁아진다. 범위의 폭 40%p와 20%p는 각각의 무응답 비율과 같다. 그래서 다시 연락하기 같은 응답률 높이기와 응답률 보고가 수집 설계에 들어간다.
figures/nonresponse_bounds.py원자료를 보존하고 단위·중복·결측을 구별한다
아래는 정리 연습용 가상 원자료다. q01 등은 방문 기록의 임시 식별자이며 사람의 학번이 아니다. 세 번째 행은 원본 기록을 대조하여 두 번째 행을 파일에 복사한 것이라고 확인한 상태다.
| 원자료 행 | 방문 기록 | 대기시간 수치 | 단위 | 확인한 상태 |
|---|---|---|---|---|
| 1 | q01 | 120 | 초 | 유효 |
| 2 | q02 | 3 | 분 | 유효 |
| 3 | q02 | 3 | 분 | 동일 기록의 복사본 |
| 4 | q03 | 빈칸 | 분 | 미측정 |
| 5 | q04 | 300 | 초 | 유효 |
| 기호·용어 | 이름 | 원어 | 이 글의 뜻 |
|---|---|---|---|
| 유효한 대기시간 | valid waiting time | 단위를 분으로 통일한 i번째 유효 관측값 | |
| 유효 관측 수 | valid count | 평균에 실제 포함한 값의 개수 | |
| 평균 대기시간 | mean waiting time | 유효한 값이 있을 때 그 합을 n으로 나눈 값 | |
| 결측 | 얻지 못한 값 | missing value | 미측정·미응답 등으로 값이 알려지지 않은 상태 |
값이 비어 있는 자료를 결측자료라고도 한다. 원자료 열은 그대로 두고, ‘통일한 단위의 값’과 ‘처리 이유’를 새 열로 만든다. 먼저 초로 적힌 두 값을 분으로 바꾼다.
복사본 한 행은 분석에서 한 번만 세고, q03의 빈칸은 결측으로 남긴다. 같은 시간이 나왔다는 이유만으로 다른 방문을 지우지는 않는다. 한 사람이 두 번 방문했다면 방문별 조사의 두 관측일 수도 있다. 그림 5는 원자료 5행에서 서로 다른 방문 4개를 구별하고, 그중 유효한 시간 3개를 얻는 과정이다.
figures/record_cleaning.py따라서 유효 관측의 평균은 다음과 같다. 이 계산은 시간을 아는 세 방문의 요약이지 결측 방문의 시간까지 추정한 결과가 아니다.
빈칸을 근거 없이 0분으로 채우면 합은 그대로지만 분모가 바뀐다.
식 (5)는 원자료에 없는 관측값을 넣은 계산이다. 반대로 실제로 0분이었다고 측정한 방문은 유효한 값으로 세어야 한다. 결측을 빼고 계산해도 빠진 방문이 체계적으로 더 오래 기다렸다면 식 (4)는 전체 방문을 대표하기 어렵다. 그래서 원자료 행 수, 중복 처리 근거, 결측 수와 분모를 함께 적고, 유효한 값이 하나도 없으면 평균 대신 ‘유효 관측 없음’으로 보고한다.
자료 정리에서 아주 큰 값은 지워도 되나요?
아니다. 아주 큰 값이라는 이유만으로는 지우지 않는다. 대기시간 80분이 단위 입력 오류인지, 실제로 오래 기다린 방문인지 원기록을 확인한다. 확인할 수 없으면 그 사실을 밝히고, 포함했을 때와 제외했을 때의 결과를 함께 보고한다.
이름 대신 번호를 쓰면 익명 자료가 되나요?
아니다. 이름을 번호로 바꾸어도 번호와 이름을 잇는 명부나 정확한 방문 시각 같은 정보를 조합하면 사람을 다시 알아볼 수 있다. 목적에 필요하지 않은 식별 정보는 처음부터 모으지 않고, 공개할 때는 개인 행보다 집계값을 우선한다.
작은 조사를 직접 설계하고 결과까지 남긴다
앞의 가상 기록표를 스프레드시트에 옮겨 원자료·분 단위 값·처리 이유를 나란히 적자. 원자료 5행은 유지하고 분석 대상 세 값의 합 10과 개수 3을 확인한다. 다른 사람이 표만 보고 식 (4)를 재현할 수 있어야 한다.
다음으로 실제로 할 수 있는 조사 하나를 정한다. 운영자의 허락을 받고 목적·기간·측정 시작과 끝·관측 단위·표본추출 계획을 한 장에 적는다. 설문이나 인터뷰를 더하면 자발적 참여와 거절 가능, 수집 항목·사용 목적·삭제 시점을 안내하고 연락처 같은 불필요한 개인정보는 받지 않는다. 아직 측정하지 않은 수치는 채우지 않으며, 공개 보고서에는 이름이나 개별 응답 대신 집계값을 싣는다.
자료 수집 설계는 질문에 맞는 대상·기간·방법·기록 규칙을 정하는 일이다. 원자료를 보존하며 단위와 중복을 확인하고, 결측을 실제 0과 구별하여 계산에 포함한 관측 수와 결론의 범위를 밝힌다.
자료 수집 설계에서 생기기 쉬운 오해
- 대기시간을 회상하여 응답한 값은 시계로 잰 값과 같은 방식의 자료다. — 같은 분 단위라도 기억에 의한 오차가 추가된다. 직접 측정과 설문 응답을 합치려면 수집 방식의 차이를 밝혀야 한다.
- 응답 수가 많으면 표본틀에서 빠진 집단도 자동으로 대표한다. — 점심 방문만 아무리 많이 기록해도 방과 후 방문은 포함되지 않는다. 수집량과 대상 범위는 별도로 확인한다.
직접 해보기
- 과거 5년의 연도별 도서관 방문 건수, 안내를 받지 않고 떠난 이유, 안내문 A와 B의 효과를 각각 알아보려고 한다. 알맞은 수집 방법과 확인할 조건을 하나씩 제안하자.
- ‘우리 학교의 저렴하고 깨끗한 매점에 만족하나요?’를 두 문항으로 고치자. 응답할 경험의 기간과 경험이 없는 사람의 선택도 정하자.
- 새 가상 원자료가 r01:60초, r02:2분, r02:2분, r03:빈칸, r04:180초, r05:0분이다. 두 번째 r02행은 복사 중복이라고 확인했고 0분은 실제 측정값이다. 서로 다른 기록 수, 결측 수, 유효 관측 수와 평균을 구하자.
- 뽑은 25명 중 20명이 응답했고 그중 8명이 ‘예’라고 답했다. 응답률, 응답자의 ‘예’ 비율, 25명 전체의 ‘예’ 비율이 들어갈 수 있는 범위를 구하자.
- 한 학교에서 자원한 학생 30명을 동전 던지기로 두 학습법 A·B에 15명씩 배정했더니 A의 평균 점수가 높았다. 이 결과로 (가) 이 30명에게서 A가 효과가 있었다고, (나) 전국 고등학생에게 A가 효과가 있다고 말할 수 있는지 설명하자.
답과 풀이
- 과거 방문 건수는 기존 기록을 이용하는 2차 자료 수집이 알맞다. 연도마다 방문의 정의·집계 기간이 같은지 확인한다. 떠난 이유는 자발적인 인터뷰나 설문으로 묻되, 응답하지 않은 사람까지 같은 이유라고 일반화하지 않는다. 안내문 효과는 가능한 조건을 맞춘 실험에서 무작위 배정을 고려하되, 방문 조건과 우연한 차이도 기록한다.
- 예를 들어 ‘지난 7일에 가장 최근 이용한 매점의 가격에 얼마나 만족했나요?’와 ‘그때 매점의 청결 상태에 얼마나 만족했나요?’로 나눈다. ‘저렴하고 깨끗한’을 빼고 같은 응답 단계를 제시하며, 지난 7일 이용 경험 없음·기억나지 않음·응답 원치 않음을 구별한다. 표현은 달라도 한 가지씩 중립적으로 묻고 범위를 밝히면 된다.
- 복사 중복을 제외하면 기록 5개, 결측 1개, 유효 관측 4개다. 60초는 1분, 180초는 3분이므로 유효 값은 1·2·3·0이다. 합은 6이고 평균은 분이다. 실제 0을 빼면 이 자료의 평균이 아니게 된다.
- 응답률은 이고 무응답은 5명이다. 응답자의 ‘예’ 비율은 다. 무응답 5명이 모두 ‘아니요’면 , 모두 ‘예’면 이므로 범위는 32%에서 52%이고, 폭 20%p는 무응답 비율과 같다.
- (가)는 말할 수 있다. 무작위 배정으로 두 집단의 체계적인 차이를 줄였으므로, 평균 차이가 우연으로 생길 만한 크기인지 검토한 뒤 이 30명 안에서 A의 효과를 말한다. (나)는 말할 수 없다. 참여자가 전국 고등학생에서 임의추출되지 않았고 자원한 학생들이므로 결론을 넓힐 근거가 없다.
더 읽기
- 교육부 2022 개정 수학과 교육과정 — 별책8 [12실통02-02]의 여섯 수집 경로와 대상·목적·기간·문제에 맞는 선택, 자료 수집의 오류 탐색이 범위다.
- 천재교육 2022 실용 통계 공개 견본 — 인쇄 42–45쪽의 직접·2차 수집, 설문지법·문헌연구법과 설문 설계 절차를 대조했다. 가상 대기시간 자료와 새 연습은 별도로 구성했다.
- Statistics Canada, Questionnaire design — 기간·단위·중립적 문구·한 문항의 범위·겹치지 않는 응답 선택·예비조사를 실제 설명과 대조했다.
- OpenStax, Introductory Statistics 2e 1.4절 — 실험의 조건 조작과 관찰의 차이, 숨은 변수(lurking variable)를 무작위 배정이 고르게 나눈다는 설명을 ‘무작위로 배정하지 않은 두 집단의 차이는 왜 원인의 증거가 아닌가’ 절과 대조했다. 무작위 배정의 역할은 유한 집단의 완벽한 일치로 과장하지 않는다.
영상 노트
- 00:00 실제 0분과 빈칸의 차이
- 00:40 질문·대상·기간·관측 단위 정하기
- 01:30 여섯 수집 방법 비교
- 02:30 그림 1로 임의추출과 무작위 배정 구별, 결론 범위 표
- 03:30 식 (1)과 그림 2, 한산한 날에 몰린 안내문 A의 교란 요인
- 04:40 유도 질문을 두 문항으로 고치고 그림 3으로 선택지 경계 점검
- 05:40 식 (2)와 그림 4, 무응답이 남기는 15~55% 범위
- 06:40 그림 5와 식 (3)으로 원자료 보존·단위 통일
- 07:30 식 (4)의 세 관측 평균과 식 (5)의 잘못 채운 0 비교
- 08:30 실제 수집 계획의 참여·보관 범위와 해보기
지도에서의 위치
- 2026-11-16 · 에이전트 초안 — 수집 방법 선택·설문 개선·원자료 정리와 새 연습 작성
- 2026-11-17 · 전수 검수 반영 — 임의추출과 무작위 배정의 결론 범위 표, 무작위 배정 없는 비교의 교란 요인 수치 예, 설문 선택지의 겹침·틈, 무응답이 남기는 비율 범위 보강, 질문 답 첫 문장과 해보기 정비 (에이전트 수정, 그림 1→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림