AI빅데이터와 편향#286

빅데이터와 편향

Big Data and Bias

빅데이터는 규모·속도·다양성 등에 맞는 저장·처리 방법이 필요한 자료다. 환경별 정답 비율과 구성비로 전체 비율을 계산하고, 순위가 뒤집히는 경우와 치우친 대량 수집의 한계, 수집·정답·평가 단계의 편향을 살핀다.

읽는 시간
약 10분
선수 개념
상대도수기계학습의 방식

직관 — 한쪽 창문으로만 바라본 풍경

직관

창문 하나로 찍은 사진을 많이 모아도 건물 뒤쪽은 보이지 않는다. 사진 수와 보이는 범위는 다른 문제다. 다른 방향에서도 살펴야 전체에 대한 판단을 바꿀 수 있다.

사진 수는 자료의 규모, 촬영 방향은 자료가 수집된 범위에 대응한다. 인공지능의 성능을 해석할 때는 얼마나 많이 모았는지와 무엇이 빠졌는지를 함께 본다.

빅데이터는 양뿐 아니라 생성과 처리의 특성을 가진다

빅데이터(Big Data)는 규모·생성 속도·형태의 다양성 등에 대응하는 저장과 처리 방법이 필요한 자료를 가리킨다. 크기 하나로 정하지 않으며, 같은 크기라도 즉시 처리해야 하는 센서 기록과 천천히 분석해도 되는 기록의 요구가 다르다.

교과에서 자주 보는 3V는 규모(Volume), 속도(Velocity), 다양성(Variety)이다. 미국 NIST 작업반은 여기에 변동성(Variability)을 더한 넷을 정의에 넣었다. 정확성(Veracity)이나 가치(Value)처럼 V로 시작하는 말을 더 붙여 소개하는 자료도 있다.11 NIST SP 1500-1r2, 2절의 정의와 5.4절.

특성뜻예
규모저장·처리할 자료의 양여러 해 쌓인 사진 수백만 장
속도자료가 생겨 들어오는 빠르기초마다 들어오는 센서 값
다양성자료의 출처·분야·종류가 여럿표, 글, 사진, 소리
변동성흐름·형식·뜻·품질이 바뀜기기를 바꾼 뒤 단위가 달라진 기록

자료의 형태로는 정형·반정형·비정형을 나눈다. 정형 자료는 행과 열이 정해진 표처럼 미리 정한 틀에 맞춘 자료다. 글·사진·영상처럼 정해진 틀이 없는 자료는 비정형 자료다. JSON처럼 전체 틀은 있지만 안의 내용이 자유로운 자료는 반정형 자료다.22 NIST SP 1500-1r2, 3.2절 11–12쪽.

비정형 자료를 모형이 읽게 하려면 수로 바꾸는 표현 과정이 필요하다. 글을 단어 빈도로 바꾸는 단어가방 모형과 사진을 수의 표로 바꾸는 이미지의 픽셀 행렬이 그 예다.

빅데이터는 몇 GB부터 빅데이터인가?

빅데이터를 가르는 정해진 GB 문턱은 없다. NIST 작업반은 빅데이터에서 생기는 처리 문제 가운데 많은 것이 1GB보다 작은 자료에서도 나타날 수 있다고 적었다. 크기보다 저장·처리에 새로운 방법이 필요한지가 기준이다.

빅데이터의 편향은 자료 구성에서도 생긴다

여기서 편향은 관찰·선택·판단이 한쪽으로 치우쳐 실제 사용 상황을 충분히 반영하지 못하는 문제를 말한다. 퍼셉트론에서 상수 항을 뜻하는 편향과는 다른 뜻이다.

아래는 빅데이터 전체를 흉내 낸 실제 통계가 아니라, 구성의 영향을 계산하기 위한 가상 사진 평가 자료다. B는 밝은 환경, D는 어두운 환경이다. 같은 모형을 두 가상 평가 묶음 I, II에 적용했다고 설정한다.

묶음환경사진 수맞힌 수환경별 맞힌 비율
IB90810.90
ID1050.50
IIB20180.90
IID20100.50
정의
기호이름원어뜻
nB,nDn_B,n_D환경별 자료 수group size밝음·어두움의 사진 수
aB,aDa_B,a_D환경별 정답 수correct count각 환경에서 맞힌 수
rB,rDr_B,r_D환경별 정답 비율group accuracy자료 수가 양수일 때 aB/nB,aD/nDa_B/n_B,a_D/n_D
ww밝은 환경의 구성비mixture weightnB/(nB+nD)n_B/(n_B+n_D)
rr전체 정답 비율overall accuracy전체 맞힌 수를 전체 수로 나눈 값

상대도수처럼 맞힌 수를 해당 자료 수로 나눈다. I에서는 밝은 사진이 더 많아 전체 비율이 밝은 환경의 비율에 더 가까워진다.

rI=81+590+10=0.86,rII=18+1020+20=0.70.(1)r_{\mathrm I}=\frac{81+5}{90+10}=0.86,\qquad r_{\mathrm{II}}=\frac{18+10}{20+20}=0.70. \tag{1}

두 환경 각각의 비율은 같아도 전체는 86%와 70%로 달라진다. 그림 1은 맞힌 사진과 틀린 사진을 모두 표시해 분모를 숨기지 않는다.

가상 두 평가 묶음의 사진 수. B는 밝음, D는 어두움이며, 위는 I, 아래는 II다. 진한 부분은 맞힌 수, 빗금 부분은 틀린 수이며 막대 끝 숫자는 맞힌 수/전체 수다.
그림 1 가상 두 평가 묶음의 사진 수. B는 밝음, D는 어두움이며, 위는 I, 아래는 II다. 진한 부분은 맞힌 수, 빗금 부분은 틀린 수이며 막대 끝 숫자는 맞힌 수/전체 수다. figures/group_composition.py

빅데이터의 전체 비율은 구성비로 가중된다

환경별 자료 수가 다르면 각 비율이 전체에 반영되는 비중도 다르다. 전체 정답 수는 각 환경의 자료 수와 정답 비율을 곱한 값의 합이다. 두 환경의 수가 모두 양수라면 다음과 같이 정리된다.

r=nBrB+nDrDnB+nD=wrB+(1−w)rD.(2)r=\frac{n_Br_B+n_Dr_D}{n_B+n_D} =wr_B+(1-w)r_D. \tag{2}

식 (2)에 이 예의 rB=0.9,rD=0.5r_B=0.9,r_D=0.5를 넣으면 r=0.5+0.4wr=0.5+0.4w다. w=0.9w=0.9일 때 0.86, w=0.5w=0.5일 때 0.70이다. 두 비율의 단순 평균은 두 환경에 같은 비중을 주는 경우다.

실제로 쓰일 환경의 구성비를 알면 식 (2)로 다시 가중할 수 있다. 사용 환경 UU에서 밝은 사진이 70%라면 그 환경의 전체 비율 rUr_U는 다음과 같다.

rU=0.7×0.9+0.3×0.5=0.78(3)r_U=0.7\times0.9+0.3\times0.5=0.78 \tag{3}

I의 0.86도 II의 0.70도 아닌 0.78이 이 사용 환경에 맞는 값이다. 다만 환경별 비율 0.9와 0.5가 사용 환경의 새 사진에서도 그대로라는 가정 아래의 계산이다. 그림 2는 이 가정을 둔 계산 모형이다.

환경별 정답 비율을 0.9와 0.5로 고정한 모형의 전체 비율 r=0.5+0.4w. 채운 점은 평가 묶음 I과 II, 빈 점은 밝은 사진이 70%인 사용 환경 U의 0.78이다. 양 끝은 한 환경만 남기는 가상 비교다.
그림 2 환경별 정답 비율을 0.9와 0.5로 고정한 모형의 전체 비율 r=0.5+0.4wr=0.5+0.4w. 채운 점은 평가 묶음 I과 II, 빈 점은 밝은 사진이 70%인 사용 환경 UU의 0.78이다. 양 끝은 한 환경만 남기는 가상 비교다. figures/mixture_accuracy.py

전체 정확도만 비교하면 모형의 순위가 뒤집힐 수 있다

두 모형을 구성이 다른 자료로 평가하면 전체 정확도의 순위가 환경별 순위와 반대로 나올 수 있다. 아래 가상 자료에서 모형 PP는 두 환경 모두에서 QQ보다 정확하지만 전체 비율은 0.63으로 QQ의 0.82보다 낮다. QQ는 앞의 I, II와 같은 환경별 비율을 가진 모형이다.

모형환경사진 수맞힌 수환경별 맞힌 비율
PPB20190.95
PPD80440.55
QQB80720.90
QQD20100.50
rP=19+44100=0.63,rQ=72+10100=0.82(4)r_P=\frac{19+44}{100}=0.63,\qquad r_Q=\frac{72+10}{100}=0.82 \tag{4}

식 (4)의 차이는 구성비에서 온다. PP는 어려운 어두운 사진을 80장 받았고, QQ는 20장만 받았다. 식 (2)로 보면 PP는 w=0.2w=0.2, QQ는 w=0.8w=0.8인 점에서 계산된 셈이다. 이처럼 각 집단의 비교와 전체의 비교가 반대로 나오는 현상을 심슨의 역설(Simpson's paradox)이라 한다.

가상의 두 모형 P,Q의 환경별 정답 비율(B, D)과 전체 비율(r). P는 두 환경 모두에서 앞서지만 어두운 사진을 80장 받아 전체 비율은 0.63으로, 어두운 사진이 20장인 Q의 0.82보다 낮다.
그림 3 가상의 두 모형 P,QP,Q의 환경별 정답 비율(BB, DD)과 전체 비율(rr). PP는 두 환경 모두에서 앞서지만 어두운 사진을 80장 받아 전체 비율은 0.63으로, 어두운 사진이 20장인 QQ의 0.82보다 낮다. figures/simpson_reversal.py

같은 구성비로 맞추면 순위가 제자리로 돌아온다. 사용 환경 UU의 구성비로 다시 가중하면 QQ는 식 (3)의 0.78이고, PP는 식 (5)의 0.83이다. 그림 3처럼 모형을 비교할 때는 환경별 결과와 평가 자료의 구성을 함께 적는다.

rP,U=0.7×0.95+0.3×0.55=0.83(5)r_{P,U}=0.7\times0.95+0.3\times0.55=0.83 \tag{5}

역전이 생기는 일반 조건과 실제 자료의 사례, 층화 비교는 심슨의 역설에서 다룬다.

자료가 많아도 치우친 수집은 같은 오차를 되풀이한다

자료 수를 늘리면 우연에 따른 흔들림은 줄지만, 수집 방식의 치우침은 줄지 않는다. 그림 4는 사용 환경의 값이 0.78일 때 두 방법으로 구한 추정값 r^\hat r를 30개씩 보인다. 각 사진은 밝으면 0.9, 어두우면 0.5의 확률로 맞힌다고 정하고 컴퓨터로 뽑았다.

위쪽은 밝은 사진이 90%인 곳에서만 10,000장씩 모은 경우다. 추정값 30개가 모두 0.85와 0.87 사이에 모여, 0.78보다 0.07 이상 크다. 아래쪽은 사용 환경에서 100장씩 임의추출한 경우다. 0.70에서 0.84까지 흩어지지만 평균은 약 0.78이다.

환경별 정답 비율을 0.9와 0.5로 정한 모의실험의 전체 정답 비율 추정값 hat r 30개씩. 위는 밝은 사진 비율 w=0.9인 곳에서 10,000장씩 모은 경우로 모두 0.85~0.87에 모이고, 아래는 w=0.7인 사용 환경에서 100장씩 임의추출한 경우로 0.70~0.84에 흩어지며 평균은 점선의 0.78 부근이다.
그림 4 환경별 정답 비율을 0.9와 0.5로 정한 모의실험의 전체 정답 비율 추정값 r^\hat r 30개씩. 위는 밝은 사진 비율 w=0.9w=0.9인 곳에서 10,000장씩 모은 경우로 모두 0.85~0.87에 모이고, 아래는 w=0.7w=0.7인 사용 환경에서 100장씩 임의추출한 경우로 0.70~0.84에 흩어지며 평균은 점선의 0.78 부근이다. figures/biased_sample_estimates.py

100배 많은 자료가 매번 같은 방향으로 틀린 것이다. 큰 자료는 흔들림이 작아 믿음직해 보이지만, 치우친 수집에서 생긴 차이는 자료를 더 모아도 줄지 않는다. 표본이 모집단을 닮도록 뽑는 방법은 모집단과 표본에서 다룬다.

빅데이터의 편향은 수집부터 활용까지 어느 단계에서나 생긴다

빅데이터 분석은 수집→정리→정답 부여→표현·분석→평가→활용으로 이어지며, 각 단계에서 다른 종류의 편향이 생긴다. 아래 표의 예는 이 글의 사진 자료에 맞춰 든 것이다.

단계확인할 것생길 수 있는 편향
수집대상·기간·장소밝은 환경만 모아 어두운 환경이 빠짐
정리중복·누락·단위흐린 사진을 모두 지워 어려운 조건이 사라짐
정답 부여정답 기준·검토사람마다 다르게 붙인 정답을 모형이 그대로 배움
표현·분석수로 바꾸는 방법사진을 작게 줄이며 어두운 부분의 정보를 잃음
평가평가 자료의 구성학습에 쓴 사진으로 평가하거나 전체 비율만 봄
활용실제 사용 환경평가와 다른 환경에 결과를 그대로 적용

두 집단을 무조건 반씩 맞추는 것도 실제 사용 환경을 대표한다는 보장은 없다. 식 (3)의 사용 환경은 밝은 사진과 어두운 사진이 7:3이었다. 평가 목적에 맞는 구성과 환경별 결과를 함께 기록한다. NIST의 편향 보고서는 통계적 요인뿐 아니라 사람과 제도적 요인을 함께 다룬다.33 NIST SP 1270, 요약 i–ii쪽.

빅데이터는 실제로 어디에 쓰였고 어디서 틀렸나

DeepMind는 2016년 Google 데이터센터의 센서 기록으로 냉각 에너지와 운영 상태를 예측한 연구를 소개했다. 온도·전력·펌프 속도처럼 여러 자료가 활용되었다. 이는 연구진의 특정 설비에 대한 보고이며, 위의 가상 사진 자료나 모든 시설의 성능을 뜻하지 않는다.44 DeepMind 연구진의 2016년 냉각 시스템 소개.

검색어 자료로 독감 유행을 추정한 Google 독감 트렌드(GFT)는 한계를 보인 사례다. 2013년 2월에는 미국 질병통제예방센터(CDC)가 집계한 독감 유사 질환 진료 비율의 두 배가 넘게 추정했다. 2011년 8월부터 108주 가운데 100주를 높게 추정하기도 했다.55 Lazer 외, Science 343, 2014, 1203–1204쪽.

분석한 연구진은 원인으로 ‘빅데이터 오만’과 검색 서비스 자체의 변화를 들었다. 빅데이터 오만은 빅데이터가 전통적인 자료 수집을 보완하는 것이 아니라 대신한다고 여기는 태도다. 처음 방식은 약 5천만 개의 검색어 가운데 1,152개의 자료점에 잘 맞는 것을 골랐는데, 독감과 무관하지만 우연히 맞는 검색어가 섞이기 쉬웠다. GFT를 CDC의 지난 자료와 함께 쓰면 오차가 줄었다고도 보고했다.

핵심

빅데이터의 규모가 커져도 대표성과 공정성이 자동으로 보장되지는 않으며, 환경별 비율·구성비·자료를 고른 과정을 함께 확인해야 한다.

빅데이터는 작은 자료보다 항상 좋은가?

같은 오류나 누락을 가진 자료만 늘리면 작은 자료의 한계가 그대로 남을 수 있다. 가상 묶음 I의 100장을 똑같이 10번 복제하면 비율은 여전히 86%다. 서로 다른 조건의 새 정보를 확보했는지가 중요하다.

빅데이터에서 낮은 성능의 환경을 빼면 될까?

실제 사용 대상에 포함되는 환경을 평가에서 빼면 그 환경의 성능을 알 수 없다. I에서 D를 빼면 81/90=90%가 되지만 어두운 환경의 실패 5건도 함께 사라진다. 제외 근거와 적용 가능한 범위를 밝혀야 한다.

빅데이터의 공정성은 정확도 하나로 판단하나?

전체 정확도만으로 공정성을 결정할 수는 없다. 이 글의 모형은 틀리는 비율이 밝은 사진에서 0.1, 어두운 사진에서 0.5로 어두운 사진 쪽이 다섯 배 높다. 환경별 오류, 영향을 받는 사람, 수정 요청의 통로를 함께 살핀다. 개인정보도 목적에 필요한 범위만 수집하고, 보관 기간과 접근 범위를 정하는 것이 탐구의 일부다.

빅데이터와 편향의 흔한 오해

  • “두 평가 묶음에서 환경별 정확도가 각각 같으면 전체 정확도도 같다.” — 식 (1)은 각 환경의 비율이 같아도 두 묶음의 구성비 때문에 전체가 달라지는 반례다.
  • “많이 모은 자료를 전부 학습에 쓰면 평가도 끝난다.” — 학습 자료에서 맞힌 비율은 새 환경의 평가와 다르다. 기계학습의 자료 분리를 유지해야 한다.

직접 해보기

  1. 새 가상 묶음은 B 30장 중 24장, D 10장 중 4장을 맞혔다. 각 비율과 전체 비율을 구하라.
  2. 1번의 환경별 비율을 고정하고 B와 D가 절반씩인 상황을 계산하면 전체 비율은 얼마인가?
  3. I의 모든 사진을 10번씩 복제했다. 맞힌 수·전체 수·정답 비율과 새로 확보한 서로 다른 사진 수를 구별하라.
  4. 밝은 환경 자료만 모은 모형의 소개문을 ‘어떤 환경에서도 90% 정확하다’라고 썼다. 어떤 부분을 고쳐야 하는가?
  5. 그림 3의 PP와 QQ를 밝은 사진과 어두운 사진이 절반씩인 같은 구성비로 다시 가중하라. 어느 모형이 앞서는가?
답
  1. 24/30=0.824/30=0.8, 4/10=0.44/10=0.4이고 전체는 28/40=0.728/40=0.7이다.
  2. 0.5×0.8+0.5×0.4=0.60.5\times0.8+0.5\times0.4=0.6이다. 새 관측값이 아니라 고정 비율 모형의 계산이다.
  3. 맞힌 수 860, 전체 1000, 비율 0.86이다. 복제만으로 새로 확보한 서로 다른 사진은 0장이다.
  4. ‘이 밝은 환경 평가 자료에서 90%’로 범위를 좁힌다. 어두운 환경 등에서 별도 평가해야 전체 적용 가능성을 논의할 수 있다.
  5. PP는 0.5×0.95+0.5×0.55=0.750.5\times0.95+0.5\times0.55=0.75, QQ는 0.5×0.9+0.5×0.5=0.700.5\times0.9+0.5\times0.5=0.70이므로 PP가 앞선다. 구성비를 맞추면 환경별 순위와 같아진다.

더 읽기

영상 노트

영상 노트
  • 00:00 한 방향의 사진을 복제해도 안 보이는 곳은 남는다는 비유.
  • 00:40 3V와 변동성, 정형·반정형·비정형 자료를 짚는다.
  • 01:40 그림 1의 네 행에서 식 (1)을 계산한다.
  • 02:40 식 (2)의 가중평균을 그림 2에 대응하고, 식 (3)으로 사용 환경 U의 값을 구한다.
  • 03:40 그림 3에서 두 모형의 순위가 뒤집히는 것을 보이고 식 (5)로 바로잡는다.
  • 04:40 그림 4의 두 줄을 비교해 큰 자료의 치우침이 줄지 않음을 보인다.
  • 05:40 단계별 편향 표와 Google 독감 트렌드 사례로 정리한다.

지도에서의 위치

이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안
  2. 2026-11-17 · 전수 검수 반영 — 정형·반정형·비정형 자료, 사용 환경 구성비로 다시 가중하기, 심슨의 역설, 치우친 대량 수집 모의실험, 단계별 편향 표, Google 독감 트렌드 사례 추가, 환경별 오류를 비율로 비교, 해보기 5문항 (에이전트 수정, 그림 2→4)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림
  4. 2026-11-17 · 새 글 ‘심슨의 역설’로 가는 링크와 다음 개념 연결 (에이전트 수정)