직관 — 같은 오답 수라도 손해는 다르다
알람이 울려 확인했더니 아무 일도 없는 경우가 있다. 반대로 실제 문제가 있는데 알람이 울리지 않을 수도 있다. 두 실수의 개수가 같아도 대응에 드는 시간과 피해는 다를 수 있다.
알람 여부는 모형의 예측에, 확인·수리 같은 행동은 의사 결정에 대응한다. 울려야 할 때 울리지 않은 실수를 놓침, 괜히 울린 실수를 헛경보라 부른다. 분류 모형의 결과를 행동으로 옮기는 이 단계가 인공지능의 의사 결정(AI 의사 결정)이다. 이 글은 그 기준을 개수와 비용의 합으로 비교한다.
인공지능의 의사 결정은 예측과 행동을 연결한다
인공지능의 의사 결정은 예측·분류 결과를 바탕으로, 정해진 목적과 제약 아래 행동을 고르는 과정이다. 이 글에서 합리적이라는 말은 목적과 비용 가정을 먼저 밝히고, 가능한 선택을 같은 기준으로 계산해 비교했다는 뜻이다. 정확도는 그 비교 자료 중 하나다. 비용, 피해, 확인 인력도 결정에 들어간다.
여기서는 사람이 확인한 실제 상태와 모형의 경보를 구별한다. 교육용 가상 누수 점검 100건 중 실제 누수는 20건, 정상은 80건이다. 같은 100건에 두 모형 A, B를 적용했다는 가정이며 실제 측정 기록이 아니다.
| 모형 | 실제 상태 | 경보 있음 | 경보 없음 | 합계 |
|---|---|---|---|---|
| A | 누수 | 18 | 2 | 20 |
| A | 정상 | 18 | 62 | 80 |
| B | 누수 | 12 | 8 | 20 |
| B | 정상 | 12 | 68 | 80 |
표에서는 ‘누수·경보 없음’ 칸이 놓침, ‘정상·경보 있음’ 칸이 헛경보다. 실제 상태별 행과 경보별 열로 개수를 나눈 이런 표를 혼동 행렬(혼동표)이라 한다. 실제 상태를 (누수 1, 정상 0), 경보를 (있음 1, 없음 0)로 적으면 A의 혼동 행렬은 그림 1과 같다.
figures/confusion_grid.py그림 1의 대각선 두 칸을 더하면 맞힌 수다. 정확도는 맞힌 수를 전체 100건으로 나눈 값이다.
식 (1)에서 두 모형의 정확도는 같다. 하지만 A는 놓침 2건·헛경보 18건이고 B는 놓침 8건·헛경보 12건이다. 그림 2처럼 오류 합계는 둘 다 20건이지만 구성이 다르다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 비교 모형 | model | 같은 가상 100건을 판정한 두 모형 | |
| 실제 상태 | actual state | 사람이 확인한 결과. 누수 1, 정상 0 | |
| 경보 | alarm | 모형의 판정. 경보 있음 1, 없음 0 | |
| 놓친 수 | missed count | 인데 인 건수 | |
| 헛경보 수 | false-alarm count | 인데 인 건수 | |
| 놓침 한 건의 비용 | miss cost | 헛경보 비용을 1로 둔 상대 비용, | |
| 총 오류 비용 | total error cost | 이 글에서 정한 비용 모형의 합계 |
교과서와 개발 문서는 놓침을 거짓 음성(FN), 헛경보를 거짓 양성(FP)이라고도 쓴다. 이 글의 과 가 각각 그 개수다.
figures/error_types.py놓침 비용이 크면 인공지능은 어느 모형을 골라야 하나
놓침 한 건을 헛경보 한 건보다 무겁게 볼수록 놓침이 적은 A가 유리하다. 놓침을 헛경보의 5배로 보면 총 비용은 A가 28, B가 52다.
헛경보 한 건의 확인 비용을 1단위, 놓침 한 건의 비용을 단위로 정한다. 이는 이 수업의 비교 가정이며 실제 금액·안전 기준이 아니다. 올바른 판정의 비용은 0으로 두고 건별 비용을 더한다.
를 식 (2)에 넣으면 다음과 같다.
놓침과 헛경보를 같은 비용으로 보면() 둘 다 20이다. 놓침 비용을 0.5로 보면 A는 19, B는 16으로 순서가 바뀐다. 모든 를 한 번에 비교하려면 두 비용의 차를 본다.
식 (4)에서 이면 차가 음수라 A가 작고, 이면 B가 작으며, 이면 같다. 그림 3의 교점은 ‘정답인 비용’이 아니라 선택이 바뀌는 경계다. Google의 분류 평가 자료도 전체 정확도만으로 오류의 종류와 중요도를 설명할 수 없다고 다룬다. 이 글은 그 문제를 조건부확률 없이 표의 개수와 비용의 합으로 계산했다.
figures/cost_tradeoff.py인공지능의 경보 문턱은 비용으로 정한다
경보 문턱은 모형이 낸 점수 가운데 몇 점부터 경보를 울릴지 정하는 기준이다. 같은 모형 A라도 이면 문턱 3, 이면 문턱 4의 비용이 가장 작다.
많은 분류 모형은 경보 여부보다 위험 점수를 먼저 낸다. 그다음 정한 문턱(임곗값) 이상이면 경보를 낸다. 퍼셉트론이 가중합을 임곗값과 비교해 0과 1을 내는 것과 같은 구조다. 모형 A가 100건에 1~5점을 매겼고, 표의 A는 ‘3점 이상이면 경보’라는 규칙의 결과라고 하자.
| 점수 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 누수 건수 | 1 | 1 | 3 | 6 | 9 |
| 정상 건수 | 40 | 22 | 10 | 5 | 3 |
문턱을 라 하자. 점수가 보다 낮은 누수는 놓침이고, 이상인 정상은 헛경보다. 예를 들어 이면 1~3점의 누수와 4~5점의 정상을 센다.
식 (5)와 같은 방법으로 모든 문턱을 세면 아래 표가 된다. 은 6점 이상인 건이 없으므로 경보를 한 번도 내지 않는 규칙이다. 문턱을 올릴수록 놓침은 늘고 헛경보는 준다.
| 문턱 | 놓침 | 헛경보 | 비용() | 비용() |
|---|---|---|---|---|
| 1 | 0 | 80 | 80 | 80 |
| 2 | 1 | 40 | 41 | 45 |
| 3 | 2 | 18 | 20 | 28 |
| 4 | 5 | 8 | 13 | 33 |
| 5 | 11 | 3 | 14 | 58 |
| 6 | 20 | 0 | 20 | 100 |
그림 4는 표의 을 점으로 찍은 것이다. 에서 비용이 28인 점들은 직선 위에 있고, 비용이 더 작은 점은 이 선의 아래쪽에 온다. 선 아래에 점이 하나도 없으니 이 가장 작다. 의 선 은 기울기가 달라 에 닿는다.11 과 를 비교하면 에서 , 과 를 비교하면 에서 다. 나머지 문턱도 이 범위에서는 보다 작지 않다.
거꾸로 보면 A의 원래 문턱 3은 가 이상 22 이하일 때 비용이 가장 작다. 그림 4의 네모 B는 의 점 보다 오른쪽 위에 있다. A의 문턱을 4로 올리면 놓침과 헛경보가 모두 B보다 적다는 뜻이다. 그래서 모형을 비교할 때는 정해진 문턱 하나의 표만이 아니라 문턱을 바꾼 결과까지 본다.
figures/threshold_tradeoff.pyGoogle의 문턱 설명도 두 오류의 비용이 다르면 기본 문턱이 좋은 선택이 아닐 수 있다고 말한다. 점수는 예측이고, 문턱은 비용 가정을 정한 뒤 사람이 고르는 결정이다.
인공지능의 의사 결정에는 계산 밖의 기준도 남는다
비용 를 누가 어떻게 정할지는 식 (2)가 답하지 않는다. 영향을 받는 사람의 의견, 확인 인력, 대응 시간, 잘못된 결정에 이의를 제기할 방법을 함께 정해야 한다. 비용을 하나의 수로 합치는 방식이 중요한 피해를 빠뜨리지 않는지도 논의한다.
예를 들어 한 기간에 경보 30건만 확인할 수 있다고 하자. 에서 비용이 가장 작은 문턱 3은 경보가 건이라 6건이 남는다. 문턱 4는 경보가 건이라 모두 확인할 수 있지만, 비용은 33으로 28보다 크다. 인력을 더 둘지, 문턱 4를 쓸지, 남는 경보의 확인 순서를 정할지는 계산을 보고 사람이 정한다.
사람의 확인을 넣는다고 그 사람이 항상 정확하거나 편향이 없어지는 것도 아니다. NIST 편향 보고서, 요약 i–ii쪽은 자료뿐 아니라 사람과 사회적 맥락도 함께 보라고 권한다.
실제 사례에서 DeepMind의 데이터센터 연구진은 에너지 예측에 더해 온도·압력의 운영 제약을 확인했다고 설명한다. 목적값이 낮다는 것과 허용 가능한 행동이라는 것을 구별한 사례로 읽을 수 있다. 누수 모형의 수치는 이 연구 결과가 아니다. 연구진의 운영 제약 설명
인공지능의 의사 결정이 비합리적이 되는 때는 언제인가
인공지능의 의사 결정은 목적에 맞지 않는 수 하나만 보고 고르거나, 피해가 누구에게 몰리는지 확인하지 않을 때 비합리적이 된다. 문턱 표의 처럼 경보를 한 번도 내지 않는 규칙도 정확도는 0.80이지만, 누수 20건을 모두 놓쳐 의 비용이 100이다.
전체 합계가 같아도 피해는 한곳에 몰릴 수 있다. 100건이 오래된 배관 구역 의 40건과 새 배관 구역 의 60건으로 나뉘고, 두 구역 모두 실제 누수가 10건이라고 하자.
| 구역 | 건수 | 누수 | A 놓침 | A 헛경보 | B 놓침 | B 헛경보 |
|---|---|---|---|---|---|---|
| 40 | 10 | 2 | 8 | 7 | 3 | |
| 60 | 10 | 0 | 10 | 1 | 9 |
구역별 정확도도 두 모형이 같다. 에서는 둘 다 오류가 10건이라 , 에서도 둘 다 10건이라 이다. 그런데 그림 5처럼 B는 의 누수 10건 중 7건을 놓친다. B의 놓침 8건 가운데 7건을 오래된 배관 구역이 떠안는 셈이다.
figures/group_misses.py이런 결정이 받아들일 만한지는 식 하나로 정해지지 않는다. 구역별 놓침을 공개했는지, 피해를 보는 쪽이 의견을 낼 수 있는지, 에 점검을 더할 수 있는지를 함께 묻는다. 빅데이터와 편향에서 본 것처럼 전체 평균만으로는 오류가 한 환경에 몰린 것을 알 수 없다. 이 표의 개수도 지난 100건의 기록일 뿐 다음 기간의 놓침을 확정하지 않는다(상대도수로 예측하기).
인공지능의 의사 결정에서는 같은 정확도라도 오류 구성, 정한 비용, 경보 문턱과 운영 제약에 따라 선택이 달라지며, 그 기준의 타당성과 공정성은 구역별 피해까지 보고 따로 검토해야 한다.
인공지능의 정확도가 높으면 좋은 결정인가?
항상 그렇지는 않다. 정확도는 놓침 한 건과 헛경보 한 건을 같은 무게로 센 값이라, 놓침 비용 인 비용 비교와 같다. 이 글에서 문턱 4는 정확도 0.87로 문턱 3의 0.80보다 높지만, 놓침을 5배로 보면 비용이 33으로 28보다 크다.
인공지능의 비용 함수가 윤리적 정답을 정하나?
아니다. 비용 함수는 정한 가정 아래 선택을 비교하는 도구다. 놓침 비용 와 에서 두 모형의 순서가 바뀌므로 숫자를 고르는 일 자체에 판단이 들어간다. 계산값을 근거로 토론하되 모든 피해가 비용 하나에 담겼다고 단정하지 않는다.
인공지능의 결정을 사람이 확인하면 충분한가?
아니다. 사람의 확인은 오류를 발견할 기회를 늘리지만, 확인할 시간·정보와 결정을 바꿀 권한이 있어야 효과가 있다. 확인자도 틀리거나 편향될 수 있으므로 무엇을 보고 결정을 바꿨는지 기록하고 이의 제기 통로를 둔다. 경보 36건을 30건의 인력으로 다룰 때처럼 확인 능력도 함께 계산한다.
인공지능의 의사 결정의 흔한 오해
- “오류 20건인 두 모형은 서로 바꿔 써도 같다.” — 식 (3)처럼 이면 비용이 28과 52다. 오류 합계만 같을 뿐이다.
- “어떤 비용에서도 A가 유리하다.” — 에서는 문턱 3의 A가 19, B가 16이다. 식 (4)대로 A의 우위에는 이라는 조건이 필요하다.
- “경보 문턱은 모형이 알아서 정해 주는 값이다.” — 같은 점수표에서 이면 문턱 4, 이면 문턱 3의 비용이 가장 작다. 문턱은 비용 가정에 따라 고르는 결정이다.
- “구역별 정확도까지 같으면 피해도 고르게 나뉜다.” — 두 모형은 에서 정확도 0.75로 같지만, 놓침은 A가 2건, B가 7건이다.
직접 해보기
- 같은 두 모형에서 놓침 비용을 3, 헛경보 비용을 1로 정하라. A와 B의 비용은?
- 놓침과 헛경보 비용을 각각 1과 5로 정하면 A와 B의 비용과 선택은 어떻게 되는가?
- 새 모형 C는 실제 누수 20건 중 16건에 경보, 정상 80건 중 10건에 경보를 낸다. 정확도와 일 때 비용을 구하라.
- 놓침 비용을 로 정하면 모형 A의 문턱 1~6 가운데 비용이 가장 작은 것은 무엇인가?
- 문턱 3의 A가 낸 경보 가운데 30건만 확인하고 나머지를 무시했다. 이 사실만으로 실제 피해를 계산할 수 있는가? 더 필요한 정보를 말하라.
답
- A는 , B는 이다. 이 비용 모형에서는 A가 작다.
- A는 , B는 이다. 이번에는 B가 작다. 헛경보 비용이 1이 아니어도 건별 비용을 곱해 더하는 방법은 식 (2)와 같다.
- 놓침은 4, 정상 무경보는 70이다. 정확도는 , 비용은 이다. 정확도는 A보다 높지만 의 비용은 A의 28보다 크다.
- 문턱별 비용 는 80, 42, 22, 18, 25, 40이다. 문턱 4가 18로 가장 작다. 일 때와 같은 문턱이지만 비용은 13에서 18로 커진다.
- 확인하지 않은 6건에 실제 누수가 얼마나 포함되는지, 대응 지연의 피해는 무엇인지 모른다. 표의 비용을 그대로 실제 운영 피해라고 주장할 수 없다.
더 읽기
- 씨마스 인공지능 수학 — 윤상운 외, 2022 개정. 인쇄 186쪽. 의사 결정의 증거·책임·편향에 관한 교과 탐구 질문의 근거다.
- Classification: Accuracy, recall, precision, and related metrics — Google, Machine Learning Crash Course. 전체 정확도만으로 평가하지 않는 이유를 읽는다.
- Thresholds and the confusion matrix — Google, Machine Learning Crash Course. 점수에 문턱을 정해 경보를 내고, 두 오류의 비용이 다르면 기본 문턱이 좋은 선택이 아닐 수 있다는 설명이다. ‘인공지능의 경보 문턱은 비용으로 정한다’ §가 기댄다.
- NIST SP 1270 — Schwartz 외, 2022, 요약. 데이터·사람·사회적 맥락을 함께 보는 근거다.
- DeepMind의 데이터센터 연구 — Evans·Gao, 2016. 목적 예측과 운영 제약을 함께 다룬 실제 사례다.
영상 노트
- 00:00 놓침과 헛경보를 실제 상태와 경보의 두 축으로 나눈다(그림 1).
- 00:50 대각선 두 칸을 더해 식 (1)을 계산하고, 그림 2로 오류 구성을 비교한다.
- 01:40 식 (2)에 를 넣어 식 (3)을 얻고, 식 (4)의 부호로 그림 3의 경계 을 찾는다.
- 03:00 점수표에서 문턱별 , 를 세어 표를 채우고, 그림 4에 두 비용선을 긋는다.
- 04:30 확인 인력 30건에서 문턱 3과 4를 비교한다.
- 05:20 그림 5로 구역별 놓침을 보고 누가 피해를 떠안는지 토론한다.
지도에서의 위치
- 2026-11-16 · 에이전트 초안
- 2026-11-17 · 전수 검수 반영 — 혼동 행렬 그림, 비용 계산 단계 분리, 점수 문턱 고르기와 비용선, 확인 인력과 문턱의 맞교환, 구역별 놓침으로 본 비합리적 결정, 교과서 용어 다리, 오해·해보기 보강 (에이전트 수정, 그림 2→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림