AI인공지능의 의사 결정#301

인공지능의 의사 결정

AI Decision-Making Trade-offs

인공지능의 의사 결정은 예측 결과에 비용·문턱·운영 조건을 적용해 행동을 고르는 과정이다. 정확도가 0.80으로 같은 가상 누수 경보 모형 두 개의 오류 비용과 경보 문턱, 구역별 피해를 계산하고, 사람이 정할 기준을 구별한다.

읽는 시간
약 9분
선수 개념
빅데이터와 편향상대도수로 예측하기

직관 — 같은 오답 수라도 손해는 다르다

직관

알람이 울려 확인했더니 아무 일도 없는 경우가 있다. 반대로 실제 문제가 있는데 알람이 울리지 않을 수도 있다. 두 실수의 개수가 같아도 대응에 드는 시간과 피해는 다를 수 있다.

알람 여부는 모형의 예측에, 확인·수리 같은 행동은 의사 결정에 대응한다. 울려야 할 때 울리지 않은 실수를 놓침, 괜히 울린 실수를 헛경보라 부른다. 분류 모형의 결과를 행동으로 옮기는 이 단계가 인공지능의 의사 결정(AI 의사 결정)이다. 이 글은 그 기준을 개수와 비용의 합으로 비교한다.

인공지능의 의사 결정은 예측과 행동을 연결한다

인공지능의 의사 결정은 예측·분류 결과를 바탕으로, 정해진 목적과 제약 아래 행동을 고르는 과정이다. 이 글에서 합리적이라는 말은 목적과 비용 가정을 먼저 밝히고, 가능한 선택을 같은 기준으로 계산해 비교했다는 뜻이다. 정확도는 그 비교 자료 중 하나다. 비용, 피해, 확인 인력도 결정에 들어간다.

여기서는 사람이 확인한 실제 상태와 모형의 경보를 구별한다. 교육용 가상 누수 점검 100건 중 실제 누수는 20건, 정상은 80건이다. 같은 100건에 두 모형 A, B를 적용했다는 가정이며 실제 측정 기록이 아니다.

모형실제 상태경보 있음경보 없음합계
A누수18220
A정상186280
B누수12820
B정상126880

표에서는 ‘누수·경보 없음’ 칸이 놓침, ‘정상·경보 있음’ 칸이 헛경보다. 실제 상태별 행과 경보별 열로 개수를 나눈 이런 표를 혼동 행렬(혼동표)이라 한다. 실제 상태를 yy(누수 1, 정상 0), 경보를 y^\hat y(있음 1, 없음 0)로 적으면 A의 혼동 행렬은 그림 1과 같다.

모형 A의 혼동 행렬. 행은 실제 상태 y, 열은 경보 ŷ이고 오른쪽 수는 행의 합 20과 80이다. 대각선의 18과 62가 올바른 판정이고, m은 놓침 2건, f는 헛경보 18건이다.
그림 1 모형 A의 혼동 행렬. 행은 실제 상태 y, 열은 경보 ŷ이고 오른쪽 수는 행의 합 20과 80이다. 대각선의 18과 62가 올바른 판정이고, m은 놓침 2건, f는 헛경보 18건이다. figures/confusion_grid.py

그림 1의 대각선 두 칸을 더하면 맞힌 수다. 정확도는 맞힌 수를 전체 100건으로 나눈 값이다.

accuracy⁡A=18+62100=0.80,accuracy⁡B=12+68100=0.80.(1)\operatorname{accuracy}_A=\frac{18+62}{100}=0.80,\qquad \operatorname{accuracy}_B=\frac{12+68}{100}=0.80. \tag{1}

식 (1)에서 두 모형의 정확도는 같다. 하지만 A는 놓침 2건·헛경보 18건이고 B는 놓침 8건·헛경보 12건이다. 그림 2처럼 오류 합계는 둘 다 20건이지만 구성이 다르다.

정의
기호이름원어뜻
A,BA,B비교 모형model같은 가상 100건을 판정한 두 모형
yy실제 상태actual state사람이 확인한 결과. 누수 1, 정상 0
y^\hat y경보alarm모형의 판정. 경보 있음 1, 없음 0
mm놓친 수missed county=1y=1인데 y^=0\hat y=0인 건수
ff헛경보 수false-alarm county=0y=0인데 y^=1\hat y=1인 건수
kk놓침 한 건의 비용miss cost헛경보 비용을 1로 둔 상대 비용, k≥0k\ge0
CC총 오류 비용total error cost이 글에서 정한 비용 모형의 합계

교과서와 개발 문서는 놓침을 거짓 음성(FN), 헛경보를 거짓 양성(FP)이라고도 쓴다. 이 글의 mm과 ff가 각각 그 개수다.

가상 모형 A와 B의 오류 수. m은 놓침, f는 헛경보다. 각 모형의 전체 오류 수는 20건으로 같지만 두 종류의 수가 다르다.
그림 2 가상 모형 A와 B의 오류 수. m은 놓침, f는 헛경보다. 각 모형의 전체 오류 수는 20건으로 같지만 두 종류의 수가 다르다. figures/error_types.py

놓침 비용이 크면 인공지능은 어느 모형을 골라야 하나

놓침 한 건을 헛경보 한 건보다 무겁게 볼수록 놓침이 적은 A가 유리하다. 놓침을 헛경보의 5배로 보면 총 비용은 A가 28, B가 52다.

헛경보 한 건의 확인 비용을 1단위, 놓침 한 건의 비용을 kk단위로 정한다. 이는 이 수업의 비교 가정이며 실제 금액·안전 기준이 아니다. 올바른 판정의 비용은 0으로 두고 건별 비용을 더한다.

C=km+f,CA=2k+18,CB=8k+12.(2)C=km+f,\qquad C_A=2k+18,\qquad C_B=8k+12. \tag{2}

k=5k=5를 식 (2)에 넣으면 다음과 같다.

CA=5×2+18=28,CB=5×8+12=52.(3)C_A=5\times2+18=28,\qquad C_B=5\times8+12=52. \tag{3}

놓침과 헛경보를 같은 비용으로 보면(k=1k=1) 둘 다 20이다. 놓침 비용을 0.5로 보면 A는 19, B는 16으로 순서가 바뀐다. 모든 kk를 한 번에 비교하려면 두 비용의 차를 본다.

CA−CB=(2k+18)−(8k+12)=6−6k.(4)C_A-C_B=(2k+18)-(8k+12)=6-6k. \tag{4}

식 (4)에서 k>1k>1이면 차가 음수라 A가 작고, 0≤k<10\le k<1이면 B가 작으며, k=1k=1이면 같다. 그림 3의 교점은 ‘정답인 비용’이 아니라 선택이 바뀌는 경계다. Google의 분류 평가 자료도 전체 정확도만으로 오류의 종류와 중요도를 설명할 수 없다고 다룬다. 이 글은 그 문제를 조건부확률 없이 표의 개수와 비용의 합으로 계산했다.

헛경보 비용을 1로 고정한 가상 모형의 총 비용. k=1에서 둘 다 20이고, k=5에서는 A가 28, B가 52다. 비용 가정의 변화가 선택에 영향을 준다.
그림 3 헛경보 비용을 1로 고정한 가상 모형의 총 비용. k=1에서 둘 다 20이고, k=5에서는 A가 28, B가 52다. 비용 가정의 변화가 선택에 영향을 준다. figures/cost_tradeoff.py

인공지능의 경보 문턱은 비용으로 정한다

경보 문턱은 모형이 낸 점수 가운데 몇 점부터 경보를 울릴지 정하는 기준이다. 같은 모형 A라도 k=5k=5이면 문턱 3, k=1k=1이면 문턱 4의 비용이 가장 작다.

많은 분류 모형은 경보 여부보다 위험 점수를 먼저 낸다. 그다음 정한 문턱(임곗값) 이상이면 경보를 낸다. 퍼셉트론이 가중합을 임곗값과 비교해 0과 1을 내는 것과 같은 구조다. 모형 A가 100건에 1~5점을 매겼고, 표의 A는 ‘3점 이상이면 경보’라는 규칙의 결과라고 하자.

점수12345
누수 건수11369
정상 건수40221053

문턱을 tt라 하자. 점수가 tt보다 낮은 누수는 놓침이고, tt 이상인 정상은 헛경보다. 예를 들어 t=4t=4이면 1~3점의 누수와 4~5점의 정상을 센다.

m=1+1+3=5,f=5+3=8.(5)m=1+1+3=5,\qquad f=5+3=8. \tag{5}

식 (5)와 같은 방법으로 모든 문턱을 세면 아래 표가 된다. t=6t=6은 6점 이상인 건이 없으므로 경보를 한 번도 내지 않는 규칙이다. 문턱을 올릴수록 놓침은 늘고 헛경보는 준다.

문턱 tt놓침 mm헛경보 ff비용(k=1k=1)비용(k=5k=5)
10808080
21404145
32182028
4581333
51131458
620020100

그림 4는 표의 (f,m)(f, m)을 점으로 찍은 것이다. k=5k=5에서 비용이 28인 점들은 직선 5m+f=285m+f=28 위에 있고, 비용이 더 작은 점은 이 선의 아래쪽에 온다. 선 아래에 점이 하나도 없으니 t=3t=3이 가장 작다. k=1k=1의 선 m+f=13m+f=13은 기울기가 달라 t=4t=4에 닿는다.11 t=3t=3과 t=4t=4를 비교하면 2k+18≤5k+82k+18\le5k+8에서 k≥10/3k\ge10/3, t=3t=3과 t=2t=2를 비교하면 2k+18≤k+402k+18\le k+40에서 k≤22k\le22다. 나머지 문턱도 이 범위에서는 t=3t=3보다 작지 않다.

거꾸로 보면 A의 원래 문턱 3은 kk가 10/310/3 이상 22 이하일 때 비용이 가장 작다. 그림 4의 네모 B는 t=4t=4의 점 (f,m)=(8,5)(f, m)=(8, 5)보다 오른쪽 위에 있다. A의 문턱을 4로 올리면 놓침과 헛경보가 모두 B보다 적다는 뜻이다. 그래서 모형을 비교할 때는 정해진 문턱 하나의 표만이 아니라 문턱을 바꾼 결과까지 본다.

모형 A의 문턱 t를 1부터 6까지 바꿀 때의 헛경보 f와 놓침 m. 점 옆의 수가 t이고 네모는 모형 B다. 파선 5m+f=28은 k=5에서 비용이 가장 작은 t=3에, 점선 m+f=13은 k=1에서 가장 작은 t=4에 닿는다.
그림 4 모형 A의 문턱 t를 1부터 6까지 바꿀 때의 헛경보 f와 놓침 m. 점 옆의 수가 t이고 네모는 모형 B다. 파선 5m+f=28은 k=5에서 비용이 가장 작은 t=3에, 점선 m+f=13은 k=1에서 가장 작은 t=4에 닿는다. figures/threshold_tradeoff.py

Google의 문턱 설명도 두 오류의 비용이 다르면 기본 문턱이 좋은 선택이 아닐 수 있다고 말한다. 점수는 예측이고, 문턱은 비용 가정을 정한 뒤 사람이 고르는 결정이다.

인공지능의 의사 결정에는 계산 밖의 기준도 남는다

비용 kk를 누가 어떻게 정할지는 식 (2)가 답하지 않는다. 영향을 받는 사람의 의견, 확인 인력, 대응 시간, 잘못된 결정에 이의를 제기할 방법을 함께 정해야 한다. 비용을 하나의 수로 합치는 방식이 중요한 피해를 빠뜨리지 않는지도 논의한다.

예를 들어 한 기간에 경보 30건만 확인할 수 있다고 하자. k=5k=5에서 비용이 가장 작은 문턱 3은 경보가 18+18=3618+18=36건이라 6건이 남는다. 문턱 4는 경보가 15+8=2315+8=23건이라 모두 확인할 수 있지만, 비용은 33으로 28보다 크다. 인력을 더 둘지, 문턱 4를 쓸지, 남는 경보의 확인 순서를 정할지는 계산을 보고 사람이 정한다.

사람의 확인을 넣는다고 그 사람이 항상 정확하거나 편향이 없어지는 것도 아니다. NIST 편향 보고서, 요약 i–ii쪽은 자료뿐 아니라 사람과 사회적 맥락도 함께 보라고 권한다.

실제 사례에서 DeepMind의 데이터센터 연구진은 에너지 예측에 더해 온도·압력의 운영 제약을 확인했다고 설명한다. 목적값이 낮다는 것과 허용 가능한 행동이라는 것을 구별한 사례로 읽을 수 있다. 누수 모형의 수치는 이 연구 결과가 아니다. 연구진의 운영 제약 설명

인공지능의 의사 결정이 비합리적이 되는 때는 언제인가

인공지능의 의사 결정은 목적에 맞지 않는 수 하나만 보고 고르거나, 피해가 누구에게 몰리는지 확인하지 않을 때 비합리적이 된다. 문턱 표의 t=6t=6처럼 경보를 한 번도 내지 않는 규칙도 정확도는 0.80이지만, 누수 20건을 모두 놓쳐 k=5k=5의 비용이 100이다.

전체 합계가 같아도 피해는 한곳에 몰릴 수 있다. 100건이 오래된 배관 구역 G1G_1의 40건과 새 배관 구역 G2G_2의 60건으로 나뉘고, 두 구역 모두 실제 누수가 10건이라고 하자.

구역건수누수A 놓침A 헛경보B 놓침B 헛경보
G1G_140102873
G2G_2601001019

구역별 정확도도 두 모형이 같다. G1G_1에서는 둘 다 오류가 10건이라 30/40=0.7530/40=0.75, G2G_2에서도 둘 다 10건이라 50/60≈0.8350/60\approx0.83이다. 그런데 그림 5처럼 B는 G1G_1의 누수 10건 중 7건을 놓친다. B의 놓침 8건 가운데 7건을 오래된 배관 구역이 떠안는 셈이다.

구역 G1(오래된 배관 40건)과 G2(새 배관 60건)에서 두 모형이 놓친 누수 수. 점선은 각 구역의 실제 누수 10건이다. 구역별 정확도는 두 모형이 같지만, B의 놓침은 G1에 7건이 몰려 있다.
그림 5 구역 G1(오래된 배관 40건)과 G2(새 배관 60건)에서 두 모형이 놓친 누수 수. 점선은 각 구역의 실제 누수 10건이다. 구역별 정확도는 두 모형이 같지만, B의 놓침은 G1에 7건이 몰려 있다. figures/group_misses.py

이런 결정이 받아들일 만한지는 식 하나로 정해지지 않는다. 구역별 놓침을 공개했는지, 피해를 보는 쪽이 의견을 낼 수 있는지, G1G_1에 점검을 더할 수 있는지를 함께 묻는다. 빅데이터와 편향에서 본 것처럼 전체 평균만으로는 오류가 한 환경에 몰린 것을 알 수 없다. 이 표의 개수도 지난 100건의 기록일 뿐 다음 기간의 놓침을 확정하지 않는다(상대도수로 예측하기).

핵심

인공지능의 의사 결정에서는 같은 정확도라도 오류 구성, 정한 비용, 경보 문턱과 운영 제약에 따라 선택이 달라지며, 그 기준의 타당성과 공정성은 구역별 피해까지 보고 따로 검토해야 한다.

인공지능의 정확도가 높으면 좋은 결정인가?

항상 그렇지는 않다. 정확도는 놓침 한 건과 헛경보 한 건을 같은 무게로 센 값이라, 놓침 비용 k=1k=1인 비용 비교와 같다. 이 글에서 문턱 4는 정확도 0.87로 문턱 3의 0.80보다 높지만, 놓침을 5배로 보면 비용이 33으로 28보다 크다.

인공지능의 비용 함수가 윤리적 정답을 정하나?

아니다. 비용 함수는 정한 가정 아래 선택을 비교하는 도구다. 놓침 비용 k=5k=5와 k=0.5k=0.5에서 두 모형의 순서가 바뀌므로 숫자를 고르는 일 자체에 판단이 들어간다. 계산값을 근거로 토론하되 모든 피해가 비용 하나에 담겼다고 단정하지 않는다.

인공지능의 결정을 사람이 확인하면 충분한가?

아니다. 사람의 확인은 오류를 발견할 기회를 늘리지만, 확인할 시간·정보와 결정을 바꿀 권한이 있어야 효과가 있다. 확인자도 틀리거나 편향될 수 있으므로 무엇을 보고 결정을 바꿨는지 기록하고 이의 제기 통로를 둔다. 경보 36건을 30건의 인력으로 다룰 때처럼 확인 능력도 함께 계산한다.

인공지능의 의사 결정의 흔한 오해

  • “오류 20건인 두 모형은 서로 바꿔 써도 같다.” — 식 (3)처럼 k=5k=5이면 비용이 28과 52다. 오류 합계만 같을 뿐이다.
  • “어떤 비용에서도 A가 유리하다.” — k=0.5k=0.5에서는 문턱 3의 A가 19, B가 16이다. 식 (4)대로 A의 우위에는 k>1k>1이라는 조건이 필요하다.
  • “경보 문턱은 모형이 알아서 정해 주는 값이다.” — 같은 점수표에서 k=1k=1이면 문턱 4, k=5k=5이면 문턱 3의 비용이 가장 작다. 문턱은 비용 가정에 따라 고르는 결정이다.
  • “구역별 정확도까지 같으면 피해도 고르게 나뉜다.” — 두 모형은 G1G_1에서 정확도 0.75로 같지만, 놓침은 A가 2건, B가 7건이다.

직접 해보기

  1. 같은 두 모형에서 놓침 비용을 3, 헛경보 비용을 1로 정하라. A와 B의 비용은?
  2. 놓침과 헛경보 비용을 각각 1과 5로 정하면 A와 B의 비용과 선택은 어떻게 되는가?
  3. 새 모형 C는 실제 누수 20건 중 16건에 경보, 정상 80건 중 10건에 경보를 낸다. 정확도와 k=5k=5일 때 비용을 구하라.
  4. 놓침 비용을 k=2k=2로 정하면 모형 A의 문턱 1~6 가운데 비용이 가장 작은 것은 무엇인가?
  5. 문턱 3의 A가 낸 경보 가운데 30건만 확인하고 나머지를 무시했다. 이 사실만으로 실제 피해를 계산할 수 있는가? 더 필요한 정보를 말하라.
답
  1. A는 3×2+18=243\times2+18=24, B는 3×8+12=363\times8+12=36이다. 이 비용 모형에서는 A가 작다.
  2. A는 2+5×18=922+5\times18=92, B는 8+5×12=688+5\times12=68이다. 이번에는 B가 작다. 헛경보 비용이 1이 아니어도 건별 비용을 곱해 더하는 방법은 식 (2)와 같다.
  3. 놓침은 4, 정상 무경보는 70이다. 정확도는 (16+70)/100=0.86(16+70)/100=0.86, 비용은 5×4+10=305\times4+10=30이다. 정확도는 A보다 높지만 k=5k=5의 비용은 A의 28보다 크다.
  4. 문턱별 비용 2m+f2m+f는 80, 42, 22, 18, 25, 40이다. 문턱 4가 18로 가장 작다. k=1k=1일 때와 같은 문턱이지만 비용은 13에서 18로 커진다.
  5. 확인하지 않은 6건에 실제 누수가 얼마나 포함되는지, 대응 지연의 피해는 무엇인지 모른다. 표의 비용을 그대로 실제 운영 피해라고 주장할 수 없다.

더 읽기

  • 씨마스 인공지능 수학 — 윤상운 외, 2022 개정. 인쇄 186쪽. 의사 결정의 증거·책임·편향에 관한 교과 탐구 질문의 근거다.
  • Classification: Accuracy, recall, precision, and related metrics — Google, Machine Learning Crash Course. 전체 정확도만으로 평가하지 않는 이유를 읽는다.
  • Thresholds and the confusion matrix — Google, Machine Learning Crash Course. 점수에 문턱을 정해 경보를 내고, 두 오류의 비용이 다르면 기본 문턱이 좋은 선택이 아닐 수 있다는 설명이다. ‘인공지능의 경보 문턱은 비용으로 정한다’ §가 기댄다.
  • NIST SP 1270 — Schwartz 외, 2022, 요약. 데이터·사람·사회적 맥락을 함께 보는 근거다.
  • DeepMind의 데이터센터 연구 — Evans·Gao, 2016. 목적 예측과 운영 제약을 함께 다룬 실제 사례다.

영상 노트

영상 노트
  • 00:00 놓침과 헛경보를 실제 상태와 경보의 두 축으로 나눈다(그림 1).
  • 00:50 대각선 두 칸을 더해 식 (1)을 계산하고, 그림 2로 오류 구성을 비교한다.
  • 01:40 식 (2)에 k=5k=5를 넣어 식 (3)을 얻고, 식 (4)의 부호로 그림 3의 경계 k=1k=1을 찾는다.
  • 03:00 점수표에서 문턱별 mm, ff를 세어 표를 채우고, 그림 4에 두 비용선을 긋는다.
  • 04:30 확인 인력 30건에서 문턱 3과 4를 비교한다.
  • 05:20 그림 5로 구역별 놓침을 보고 누가 피해를 떠안는지 토론한다.

지도에서의 위치

상대도수확률·통계기계학습의 방식AI빅데이터와 편향AI상대도수로 예측하기AI인공지능의 의사 결정지금 이 페이지인공지능 수학 탐구AI
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안
  2. 2026-11-17 · 전수 검수 반영 — 혼동 행렬 그림, 비용 계산 단계 분리, 점수 문턱 고르기와 비용선, 확인 인력과 문턱의 맞교환, 구역별 놓침으로 본 비합리적 결정, 교과서 용어 다리, 오해·해보기 보강 (에이전트 수정, 그림 2→5)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림