직관 — 답안뿐 아니라 채점 기준도 다시 본다
계산기를 다시 눌러 같은 답을 얻어도 입력이 잘못되었다면 문제가 남는다. 결과를 점검할 때는 원래 재려던 것과 실제로 잰 것을 함께 본다. 고친 이유를 남겨야 다음 사람이 무엇이 달라졌는지 알 수 있다.
입력은 자료, 계산 규칙은 분석 방법, 채점 기준은 처음의 질문과 가정에 대응한다. 앞 통계 탐구 수행의 합성 주입량 예시를 이어서 점검한다. 이 글의 초안 오류·교정 조건·동료 질문은 모두 설명을 위해 만든 가상 사례다.
통계 탐구의 성찰은 결론에 이르는 근거를 다시 점검한다
통계 탐구의 성찰은 탐구의 질문·수집·분석·해석·표현을 비판적으로 살피고, 그 결과를 보고서와 다음 계획에 반영하는 과정이다. 결과가 마음에 드는지 묻는 활동이 아니라, 다른 사람이 원자료와 방법을 따라가며 질문할 수 있게 하는 활동이다.
발표용 산출물에는 질문, 자료의 대상·단위·출처, 추출과 분석 방법, 핵심 그림, 결과와 한계를 넣는다. 보고서는 자세한 과정을, 포스터나 카드 뉴스는 핵심을 전한다. 분량을 줄여도 ‘합성 자료 10개’, ‘독립·정규 모형’, ‘양측검정’ 같은 조건은 남긴다.
동료 검토는 네 관점으로 나누어 질문한다.
| 점검 관점 | 동료가 확인할 질문 |
|---|---|
| 정확성 | 원자료에서 결론까지 같은 코드로 다시 계산되는가? 입력 오류·단위 혼동은 없는가? |
| 적절성 | 질문·표본·방법이 맞는가? 결과를 본 뒤 질문·표본 수·유의수준을 바꾸었는가? |
| 표현 | 그림의 막대·구간이 무엇인지 적었는가? 분석 대상 밖의 장치나 시기로 일반화했는가? |
| 출처·윤리 | 실제 수집인지 합성 예시인지 밝혔는가? 개인정보·미응답·제외한 값을 기록했는가? |
이 표는 실제 동료에게 건넬 점검 양식이다. 작성자가 예상한 답을 ‘동료가 검증했다’고 채우지 않는다. 동료는 반박할 문장·근거·수정 제안을 남기고, 작성자는 받아들일지와 그 이유를 기록한다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 원래 기록값 | original reading | 앞 글에 공개한 합성 측정값, | |
| 표본평균, 표본표준편차 | sample mean, sample standard deviation | 표준편차는 분모 로 구한다 | |
| 제1사분위수, 제3사분위수 | first and third quartiles | 아래·위 절반 자료의 중앙값 | |
| 임계값 | critical value | 자유도 9인 t분포에서 누적 넓이 0.975의 경계, 약 2.2622 | |
| 일정한 표시 오차 | constant offset | 표시값이 실제 부피보다 큰 양(mL) | |
| 교정 조건의 값, 그 평균·표준편차 | corrected values | 로 다시 계산한 값 | |
| 관측 t값, p값 | observed t, p-value | 기준 500mL에 대한 양측 t검정의 결과 |
통계 탐구에서 튀는 값은 지워도 될까?
기록을 확인하기 전에는 지우지 않는다. 튀는 값은 입력 오류일 수도, 실제로 일어난 큰 값일 수도 있고, 어느 쪽인지에 따라 고치는 방법이 다르다. 앞 글의 보고서 초안에서 회차 48의 509가 519로 잘못 입력되었다고 하자.
초안 자료로 계산하면 평균 504mL, 표본표준편차 약 5.87mL, 양측 p값 약 0.0595다. 초안은 유의수준 0.05에서 기각하지 못했다고 쓰고, 이어서 ‘주입량은 500mL와 같다’고 결론지었다. 동료는 두 가지를 지적했다.
첫째 지적은 정확성이다. 초안 자료의 사분위수도 , 이므로 위 울타리는 다음과 같다.
그림 1에서 519만 울타리 밖에 있다. 울타리는 다시 확인할 값을 고르는 기준이지, 지울 값을 정하는 규칙이 아니다.
figures/typo_fence.py둘째 지적은 해석이다. 귀무가설을 기각하지 못한 것은 차이를 주장할 근거가 부족하다는 뜻이며, 평균이 500mL와 같다는 증명이 아니다.
작성자가 고를 수 있는 처리는 셋이다. 그림 2의 A는 519를 그대로 둔 초안, B는 근거 없이 519를 지운 9개, C는 원래 측정 기록과 대조해 509로 고친 자료다.
| 처리 | 표본 수 | 평균(mL) | 양측 p값 | 유의수준 0.05 판단 |
|---|---|---|---|---|
| A 그대로 둠 | 10 | 504 | 0.0595 | 기각 못 함 |
| B 근거 없이 삭제 | 9 | 502.33 | 0.0339 | 기각 |
| C 기록 대조 후 수정 | 10 | 503 | 0.0192 | 기각 |
B와 C는 판단이 같지만 근거가 다르다. B는 결과가 마음에 들도록 값을 고른 것과 구별되지 않고, C는 원래 기록이라는 증거로 고쳤다. 수정본에는 원래 입력값 519, 고친 값 509, 근거가 된 기록을 함께 남긴다. 기록을 찾을 수 없다면 A와 B를 모두 보고하고 결론이 그 값 하나에 달려 있다고 밝힌다.
figures/revision_intervals.py측정 기준을 바꾸면 어떤 값이 달라질까?
평균은 바뀌고 흩어짐은 그대로다. 고친 자료의 평균은 503mL, 편차제곱합은 100, 표본표준편차는 mL였다. 여기에 별도의 가상 교정 조건을 더한다. 측정 범위의 모든 눈금이 실제 부피보다 정확히 2mL 높게 표시된다는 사실이 주어졌다고 하자.
마지막 등식은 에서 같은 가 없어지기 때문에 성립한다. 그래서 편차제곱합과 표본표준편차는 바뀌지 않고, 평균만 503 − 2 = 501mL가 된다. 일정한 측정 오차를 없애는 일과 표본의 흩어짐을 줄이는 일은 다르다.
표준오차와 임계값이 그대로이므로 95% 구간 전체가 2mL만큼 왼쪽으로 옮겨진다. 비교 기준 500mL는 바꾸지 않는다.
유의수준 0.05에서 귀무가설을 기각하지 않는다. 평균이 500mL임을 증명한 것이 아니라, 이 교정 조건 아래 이 표본으로 차이를 주장할 근거가 부족하다는 판단이다. 그림 3에서 식 (3)의 구간은 원래 구간과 길이가 같고 위치만 다르다. p값이 0.01921에서 0.36756으로 바뀐 것은 새 표본 때문이 아니라 측정 기준의 조건이 바뀌었기 때문이다.
figures/calibration_intervals.py통계 탐구의 결론은 표시 오차가 얼마일 때 바뀔까?
결론은 표시 오차 가 약 0.62mL를 넘을 때 바뀐다. 기각에서 비기각으로 넘어가는 경계는 원래 구간의 아래 끝이 정확히 500이 되도록 평균을 옮기는 이기 때문이다.
그림 4는 를 −1부터 7까지 바꾸며 다시 계산한 p값이다. 가 약 0.6155 이하이면 기각, 그보다 크고 약 5.3845보다 작으면 기각하지 못하고, 그 이상이면 평균이 500보다 작은 쪽으로 다시 기각된다. 조건을 바꿀 때 결론이 얼마나 쉽게 달라지는지 보는 이런 계산을 민감도 분석이라 한다.
이 결과는 다음 계획으로 이어진다. 실제 표시 오차가 0.62mL를 넘을 가능성을 배제하지 못하면 ‘평균이 500보다 크다’는 결론은 그만큼 불안정하므로, 교정을 그보다 정밀하게 확인한다. 원인을 확인하지 않고 원하는 p값이 나오는 를 고르면 민감도 분석이 아니라 결과 조작이다.
figures/offset_sensitivity.py조건을 바꾼 계산은 원래 분석과 구분해 남긴다
아래 코드는 원자료를 덮어쓰지 않고 오프셋 0과 2의 두 조건을 나란히 계산한다. 두 계산 모두 같은 모평균 검정과 t 신뢰구간을 쓴다.
import numpy as np
from scipy import stats
values = np.array([503, 497, 506, 501, 509, 502, 504, 500, 505, 503], dtype=float)
for offset in [0, 2]:
# 식 (2): 원자료를 보존하고 일정한 표시 오차를 뺀다.
corrected = values - offset
result = stats.ttest_1samp(corrected, popmean=500, alternative="two-sided")
ci = result.confidence_interval(confidence_level=0.95)
print(f"offset = {offset}, mean = {corrected.mean():.6f}, s = {corrected.std(ddof=1):.6f}")
print(f"t = {result.statistic:.6f}, p = {result.pvalue:.6f}, 95% CI = [{ci.low:.6f}, {ci.high:.6f}]")$ python reflection_analysis.py
offset = 0, mean = 503.000000, s = 3.333333
t = 2.846050, p = 0.019213, 95% CI = [500.615477, 505.384523]
offset = 2, mean = 501.000000, s = 3.333333
t = 0.948683, p = 0.367558, 95% CI = [498.615477, 503.384523]출력은 오프셋 0일 때 평균 503·p값 0.019213, 오프셋 2일 때 평균 501·p값 0.367558이다. 실제 도구에 교정 오차가 있는지는 별도의 측정과 기록으로 확인해야 한다. 교정값 자체가 불확실하거나 값마다 오차가 다르면 이 일정 오프셋 계산으로 해결되지 않는다.
지적을 받으면 보고서와 다음 계획을 함께 고친다
다음은 동료가 제기할 수 있는 질문과 근거 있는 답, 그에 따른 수정이다.
| 검토 질문 | 근거 있는 답과 보고서 수정 | 다음 수집에서 할 일 |
|---|---|---|
| ‘장치 전체가 정확하다’는 결론이 가능한가? | 고정 설정의 평균에 대한 합성 분석으로 좁힌다 | 비교할 설정·날짜와 대상을 먼저 정한다 |
| 측정 눈금의 기준은 확인했는가? | 교정 미확인과 오프셋 민감도 결과를 분리해 적는다 | 측정 범위에 맞는 교정을 확인하고 기록한다 |
| 시간에 따른 흐름은 없었는가? | 앞 다섯 회 평균 503.2mL, 뒤 다섯 회 502.8mL로 큰 차이는 없지만 독립을 단정하지 않는다 | 순서·간격·설정 변화를 보존하고 더 긴 순서로 살핀다 |
| 원자료를 모두 볼 수 있는가? | 열 값·코드·고친 값과 그 근거를 함께 싣는다 | 원자료를 보존하고 수정본에는 이유를 남긴다 |
결론 문장도 함께 고친다.
- 수정 전: “주입량은 500mL와 같다. 장치는 정확하다.”
- 수정 후: “합성 자료의 원래 모형에서는 평균이 500mL와 다르다는 근거가 있었고(p값 0.0192), 그 차이는 미리 정한 허용 범위 안이었다. 일정한 표시 오차 2mL라는 별도 조건에서는 기각하지 못했고, 결론은 표시 오차가 약 0.62mL를 넘으면 바뀐다. 실제 결론에는 교정을 확인한 새 자료가 필요하다.”
후속 탐구에서는 장치 설정·측정 기간·추출 수를 미리 정하고 교정 뒤 새 자료를 모은다. 원하는 결과가 나올 때까지 이전 표본을 조금씩 늘리는 방식과 구별한다. 질문을 바꾸었다면 탐색 결과로 표시하고, 처음부터 계획한 검정인 것처럼 발표하지 않는다.
통계 탐구 포스터의 오차 막대는 무엇을 나타내야 할까?
오차 막대가 무엇인지 범례나 캡션에 반드시 적는다. 같은 평균 503mL라도 표준편차, 표준오차, 95% 신뢰구간 가운데 무엇을 붙이느냐에 따라 막대 길이와 500mL를 덮는지가 달라진다.
그림 5에서 ± 막대는 499.67~506.33mL로 500을 덮고, ± 막대는 501.95~504.05mL, 95% 구간은 500.62~505.38mL로 500을 덮지 않는다. ±는 개별 값의 흩어짐, ±은 평균이 흔들리는 한 단위, 95% 구간은 모평균의 추정 범위다. 이름 없는 막대를 보고 ‘500과 겹치니 차이가 없다’고 읽으면 엉뚱한 막대로 판단하게 된다.
figures/error_bar_types.py사람을 조사했다면 미응답과 개인정보를 어떻게 성찰할까?
미응답이 있으면 응답자만의 비율을 전체의 비율로 바꾸어 말하지 않는다. 응답하지 않은 사람의 생각을 모르므로, 그들이 모두 반대하거나 모두 찬성하는 두 극단으로 전체 비율의 범위를 계산한다.
예를 들어 한 학급 40명에게 설문을 안내해 25명이 응답했고 그중 15명이 찬성했다. 응답자의 찬성 비율은 이다. 40명 전체의 찬성 비율을 라 하면 다음 범위만 확실하다.
범위가 0.5를 사이에 두므로 ‘학급의 과반이 찬성한다’고 결론 내릴 수 없다. 보고서에는 안내한 수·응답 수·미응답 이유를 함께 적는다.
연구 윤리는 다른 사람이 자료의 출처·가정·변경을 알 수 있게 하고 조사 대상을 존중하는 태도다. 사람을 조사할 때는 필요한 정보만 수집하고 참여·공개 범위를 알린다. 이름을 지워도 다른 정보의 조합으로 다시 식별될 수 있다. 원자료는 보존하고 교정·제외·단위 변환은 별도 열과 기록으로 남기며, 실제로 하지 않은 수집·동료 검토를 했다고 쓰지 않는다. 이 원칙은 결과가 유의할 때와 그렇지 않을 때 똑같이 적용된다(ASA의 자료·방법 및 조사 대상 책임 원칙).
통계 탐구의 성찰에서는 튀는 값 하나나 가정 하나가 결론을 바꿀 수 있으므로, 원래 기록과 대조해 고치고 민감도 계산으로 그 영향을 확인한 뒤 수정 전후를 함께 보고한다.
통계 탐구의 성찰은 p값이 큰 결과를 버리는 일일까?
아니다. 통계 탐구의 성찰은 결과가 유의한지와 상관없이 질문·자료·방법·표현을 점검하는 일이다. 가상 교정 조건의 p값 0.36756도 버리지 말고 조건과 함께 보고한다.
통계 탐구를 같은 코드로 재현하면 타당성도 보장될까?
아니다. 같은 입력으로 같은 결과를 얻는 재현성과, 자료·가정이 질문에 맞는지는 다른 판단이다. 초안처럼 509가 519로 입력되어 있으면 같은 코드는 틀린 p값 0.0595를 몇 번이고 똑같이 재현한다.
통계 탐구의 동료 평가는 다수결로 정할까?
아니다. 동료 평가는 근거와 방법이 알맞은지 검토하는 활동이다. 세 명이 동의해도 ‘p값은 가설이 참일 확률’이라는 잘못된 해석은 옳아지지 않는다. 어떤 문장과 계산을 왜 고쳐야 하는지 근거로 확인한다.
통계 탐구의 성찰에서 흔한 오해
- 교정하면 평균과 표준편차가 모두 2씩 줄어든다 — 일정한 2mL를 뺀 이번 조건에서는 평균만 2 줄고 편차는 같다. 식 (2)에 따라 표준편차는 mL로 유지된다.
- 요약 포스터에서는 자료 출처와 가정을 생략해도 된다 — 합성 자료를 실제 측정처럼 보이게 하거나 가정 아래 결과를 확정 사실로 바꾸면 발표의 뜻이 달라진다. 짧은 그림 설명에도 핵심 조건을 남긴다.
직접 해보기
- 새 가상 자료의 평균은 12, 표본표준편차는 3이다. 각 값에서 1.5를 빼면 두 통계량은 어떻게 되는가?
- 별도 가상 분석의 95% 평균 구간은 [19, 23]이다. 모든 값에서 일정한 0.5를 뺀 뒤 같은 t 방법을 적용하면 구간은 무엇인가? 기준 20을 포함하는가?
- 이 글의 고친 자료에서 표시값이 실제보다 1mL 낮다()는 조건이 주어졌다. 평균··양측 은 얼마이고, 원래 결론은 유지되는가?
- 60명에게 설문을 안내해 48명이 응답했고 그중 30명이 찬성했다. 응답자 비율과 60명 전체 비율의 가능한 범위를 구하고, ‘전체의 과반이 찬성한다’고 말할 수 있는지 답하라.
- 익명 설문에 이름 대신 반·생일·희귀한 활동 세 가지를 공개했다. 이름이 없으므로 아무 제한 없이 공유할 수 있다는 주장에 답하라.
답
- 새 평균은 10.5, 표본표준편차는 3이다. 각 값과 평균에서 같은 1.5를 빼므로 편차가 보존된다.
- 평균이 0.5 줄고 표준오차는 같으므로 구간은 [18.5, 22.5]다. 기준 20을 포함한다. 개별 측정값의 95%가 그 구간에 들어간다는 뜻은 아니다.
- 이므로 평균은 504mL, 표준오차는 그대로다. , 로 기각이 유지된다. 은 식 (5)의 경계 0.6155보다 작으므로 그림 4와도 맞는다.
- 응답자 비율은 다. 미응답 12명이 모두 반대하면 , 모두 찬성하면 이므로 범위는 0.5 이상 0.7 이하다. 하한 0.5는 과반이 아니므로 과반 찬성이라고 단정할 수 없다.
- 여러 정보의 조합으로 사람이 식별될 수 있다. 질문에 필요한 항목만 수집하고, 참여자에게 알린 이용·공개 범위와 제공 조건을 확인하며 공개 자료를 최소화한다.
더 읽기
- 실용 통계 공식 공개 교과서 — 김동재 외, 천재교육 2022 개정 공개 견본 124–127쪽. 산출물 제작과 탐구 성찰의 교과 범위를 확인한다.
- Ethical Guidelines for Statistical Practice — American Statistical Association, 2022, 원칙 B·D·F. 변경과 한계 공개·조사 대상 보호·건설적인 동료 검토의 근거다.
- ttest_1samp — SciPy. 같은 양측 방법의 통계량·p값·신뢰구간을 두 오프셋 조건에서 실행한다.
영상 노트
- 00:00 같은 코드의 재현과 올바른 해석을 구별하고 네 점검 관점을 소개한다.
- 01:10 초안의 519를 식 (1)의 울타리로 찾고(그림 1), 세 처리의 p값을 비교한다(그림 2).
- 03:00 식 (2)~(4)로 일정한 표시 오차와 편차 보존을 설명한다(그림 3).
- 04:30 식 (5)와 그림 4로 결론이 바뀌는 표시 오차 0.62mL를 찾는다.
- 06:00 그림 5의 세 오차 막대와 식 (6)의 미응답 범위를 짚고 수정 기록·연구 윤리를 정리한다.
지도에서의 위치
- 2026-11-16 · 에이전트 초안 — 합성 자료·실제 도구 실행·해석과 성찰 작성
- 2026-11-17 · 전수 검수 반영 — 네 점검 관점 표, 초안 입력 오류의 울타리 발견과 세 처리 비교, 결론이 바뀌는 표시 오차 경계, 오차 막대 표현, 미응답 범위 계산, 수정 전후 결론 문장, 기호 정리(임계값 c·t값·p값), 해보기 5문항 (에이전트 수정, 그림 1→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림