수학곳곳AI분야

AI

딥러닝 모델이 실제로 계산하는 자리의 수학입니다. 소프트맥스는 점수를 합이 1인 확률로 바꾸고, 역전파는 손실의 그래디언트를 출력에서 입력 쪽으로 거슬러 모읍니다. 두 장 모두 손으로 따라갈 수 있는 숫자로 확인합니다.

완성
23
작성 중
0
예정
10
지도
전체 지도에서 보기 →

읽는 순서

  1. 소프트맥스

    #008완성

    점수 차이 1은 확률 2.7배 차이다

    소프트맥스 함수(softmax)는 점수(로짓)마다 지수를 취해 합으로 나눠, 합이 1인 확률로 바꾼다. 점수 (2.0, 1.0, 0.1)은 확률 (0.659, 0.242, 0.099)가 된다. 왜 지수를 쓰는지, 온도, 시그모이드와의 차이, nan 대처, 미분까지 숫자로 확인한다.

  2. 역전파

    #019완성

    왜 손실에서 거꾸로 계산하나

    역전파(오차역전파법)는 신경망의 출력에서 입력 쪽으로 거슬러 가며 손실의 그래디언트를 구하는 알고리즘이다. 가중치가 3과 2인 가장 작은 신경망에서 손실 8의 그래디언트 (8, 12)를 손으로 계산한다. 덧셈·곱셈 노드의 규칙, 수치미분보다 빠른 이유, 경사하강법 한 걸음까지 따라간다.

  3. 교차엔트로피

    예정

  4. 어텐션

    예정

  5. 시그모이드

    예정

    로짓 하나를 0과 1 사이 확률로 바꾸는 함수

  6. top-k·top-p 샘플링

    예정

    top-k와 top-p는 무엇이 다르고 temperature와 어떻게 함께 쓰나

  7. 활성화 함수

    예정

    ReLU는 왜 시그모이드보다 기울기 소실이 덜한가

  8. 손실 함수

    예정

    평균제곱오차는 왜 오차를 제곱해서 평균하나

  9. 선형 회귀

    예정

    선형 회귀를 경사하강법으로 풀면 가중치는 어떻게 움직이나

  10. 기울기 소실

    예정

    층이 깊어지면 왜 기울기가 사라지나

  11. 자동미분

    예정

    자동미분은 수치미분·기호 미분과 무엇이 다른가

  12. 소프트맥스 회귀

    예정

    소프트맥스 회귀는 선형층과 소프트맥스로 어떻게 분류하나

  13. 기계학습의 방식

    #282완성

    정답 없이도 기계는 배울 수 있을까?

    기계학습의 방식은 학습할 때 받는 도움에 따라 정답이 붙은 자료로 배우는 지도학습, 정답 없이 자료의 묶음을 찾는 비지도학습, 행동 뒤의 보상으로 배우는 강화학습으로 나뉜다. 작은 수 예로 세 방식을 계산하고, 배운 규칙의 성과를 학습에 쓰지 않은 평가 자료로 확인한다.

  14. 퍼셉트론

    #283완성

    가중치를 곱해 더하면 어떻게 분류가 될까?

    퍼셉트론은 입력에 가중치를 곱해 더한 값에 편향을 더하고, 활성화함수로 출력을 정하는 인공 신경망의 가장 작은 단위다. 두 입력의 계단 함수 모형으로 판정 경계, OR·AND가 되는 편향의 범위, 틀린 예에서 가중치를 고치는 학습 규칙을 계산한다.

  15. XOR과 다층 퍼셉트론

    #284완성

    왜 층을 더할까?

    XOR은 두 논리값이 다를 때만 참인 연산이다. 하나의 계단 퍼셉트론으로 표현할 수 없는 이유를 부등식으로 보이고, OR·NAND·AND를 조합한 두 층 모형의 모든 입력과 경계를 계산한다. XOR 문제가 신경망의 역사에서 무엇을 보여 주었는지도 살핀다.

  16. 전문가시스템의 규칙

    #285완성

    조건이 비면 어떻게 판단할까?

    전문가시스템의 규칙은 확인한 조건에서 결론을 도출하는 ‘만약 ~이면’ 꼴의 지식 표현이다. 가상 분류 규칙으로 전방추론과 후방추론을 따라가고, 미확인·충돌의 처리와 MYCIN의 확신도 계산을 살핀다.

  17. 빅데이터와 편향

    #286완성

    자료가 많으면 공정할까?

    빅데이터는 규모·속도·다양성 등에 맞는 저장·처리 방법이 필요한 자료다. 환경별 정답 비율과 구성비로 전체 비율을 계산하고, 순위가 뒤집히는 경우와 치우친 대량 수집의 한계, 수집·정답·평가 단계의 편향을 살핀다.

  18. 텍스트의 단어 집합

    #287완성

    반복된 단어는 어디로 갈까?

    텍스트의 단어 집합(단어집합)은 정한 처리 규칙을 거친 단어를 중복 없이 모은 집합이다. 고정한 어휘 순서에 따라 0과 1의 벡터로 나타내고, 집합 연산·원-핫 벡터와 연결한다. 불용어·빈 문서·처음 보는 단어를 처리할 때 잃는 정보도 확인한다.

  19. 단어가방 모형

    #288완성

    횟수가 같으면 뜻도 같을까?

    단어가방 모형은 고정한 어휘 순서에 단어의 등장 횟수를 기록하는 표현이다. 존재 벡터와 달리 반복을 남기지만 문장 순서는 잃는다. 빈도수 벡터를 더해 자주 쓴 단어를 찾고, 횟수와 문서 길이로 나눈 비율을 구별한다.

  20. TF-IDF의 교과 모형

    #289완성

    흔한 단어의 점수는 0일까?

    TF-IDF의 교과 모형은 단어 횟수에 전체 문서 수를 그 단어가 나온 문서 수로 나눈 값을 곱한다. 문서 빈도의 개수와 비율을 구별하고, 문서마다 점수가 큰 단어를 골라 핵심어를 찾는다. 대수를 배운 독자를 위한 로그형과의 차이도 확인한다.

  21. 텍스트 유사도

    #290완성

    비슷한 문서 순위가 바뀔까?

    텍스트 유사도(문서 유사도)는 두 문서가 얼마나 비슷한지 나타낸 수다. 자카드는 단어 종류의 겹침, 유클리드 유사도는 횟수 차이의 거리, 코사인 유사도는 횟수 배열의 방향을 본다. 같은 규칙으로 표현한 문서에서 기준마다 가장 비슷한 문서가 바뀌는 예와 빈 집합·영벡터 조건을 확인한다.

  22. 사전 기반 감성 분석

    #291완성

    0점이면 중립일까?

    사전 기반 감성 분석은 단어 점수에 등장 횟수를 곱해 더한 총점으로 감성을 판정한다. 교과서는 총점 0을 중립으로 분류하지만 이 글은 0점의 원인을 확인하려고 판단 보류로 둔다. 부정어·반어·다의어·사전 밖 표현 때문에 계산과 실제 뜻이 어긋나는 예를 확인한다.

  23. 이미지의 픽셀 행렬

    #292완성

    한 픽셀에는 수가 몇 개일까?

    이미지의 픽셀 행렬은 픽셀 위치에 대응해 밝기나 색상 값을 놓은 배열이다. 8비트 명암 값은 256가지로 0부터 255까지이며 RGB는 같은 위치의 세 값을 사용한다. 해상도의 가로×세로와 행렬의 행×열 순서, 채널 수를 구별해 작은 이미지를 읽고 규칙으로 만든다.

  24. 이미지 밝기 변환

    #293완성

    밝혔다가 되돌릴 수 있을까?

    이미지 밝기 변환은 픽셀 값을 성분별로 연산해 새로운 값으로 바꾸는 과정이다. 8비트 범위로 자르기와 정수 반올림을 정해 더하기·곱하기 밝기, 대비, 반전, 합성, 이웃 평균을 계산한다. 서로 다른 입력이 같은 출력으로 합쳐지면 원래대로 복원할 수 없음을 출력값의 개수로 확인한다.

  25. 이미지의 전치

    #294완성

    가로 3칸이 세로 3칸이 되는 이유

    이미지의 전치는 행과 열의 번호를 맞바꾸어 그림을 두 번호가 같은 칸을 잇는 대각선에 대해 대칭시키는 변환이다. 2행 3열 이미지는 3행 2열이 되지만 각 픽셀의 명암값은 그대로다. 두 번 전치, 전치해도 같은 이미지, 컬러 이미지의 전치까지 계산한다.

  26. 해밍 거리로 이미지 분류

    #295완성

    다른 칸은 몇 개일까?

    해밍 거리는 같은 크기의 두 이미지에서 값이 다른 위치의 개수다. 3행 3열 입력을 두 기준 이미지와 비교하면 거리가 1과 5로 갈려 더 가까운 쪽으로 분류한다. 이진화 문턱값, 동점과 보류, 위치 어긋남이 분류를 바꾸는 경우도 확인한다.

  27. 상대도수로 예측하기

    #296완성

    관측 비율이 미래를 보장할까?

    상대도수로 예측하기는 사건 횟수를 전체 관측 횟수로 나눈 비율을 다음 결과의 확률로 어림해 쓰는 방법이다. 20번 중 14번이면 0.7이고 같은 조건의 다음 50번 중 35번쯤을 가늠하지만 보장은 아니다. 가장 흔한 결과 고르기, 크기가 다른 자료 비교, 새 기록과 합치기를 다룬다.

  28. 추세선으로 예측하기

    #297완성

    같은 자료에 여러 직선이?

    추세선으로 예측하기는 산점도의 경향을 잘 나타내는 직선이나 곡선을 정하고 그 식에 새 입력을 넣어 값을 가늠하는 방법이다. 모든 점에 고르게 가까운 직선을 고르고, 절편이 있는 추세선과 원점을 지나는 추세선, 자료 밖 예측의 한계를 비교한다.

  29. 일변수 제곱 손실

    #298완성

    기울기 하나를 어떻게 고를까?

    일변수 제곱 손실은 고정된 자료에서 원점을 지나는 추세선의 오차 제곱을 평균 내어 기울기 하나의 함수로 만든 것이다. 자료 (1,2), (2,3)에서는 기울기 1.6에서 최솟값 0.1이다. 제곱하는 이유, 세 합으로 손실식을 세우고 완전제곱으로 최소점을 찾는 법, 퇴화 조건을 다룬다.

  30. 손실함수의 기울기

    #299완성

    손실이 줄어드는 방향은 어디일까?

    손실함수의 기울기는 모수를 조금 바꿀 때 손실이 변하는 방향과 빠르기를 나타낸다. 자료 (1, 2), (2, 3)의 제곱 손실에서 기울기는 5a−8이며 a=1에서 −3이다. 두 점 사이 평균변화율에서 미분계수를 얻고 그 부호로 손실이 줄어드는 쪽을 찾는다.

  31. 일변수 경사하강법

    #300완성

    학습률을 키우면 더 빨라질까?

    일변수 경사하강법은 손실의 기울기 반대 방향으로 모수 하나를 반복 수정하는 방법이다. 자료 (1, 2), (2, 3)의 손실에서 초깃값 0, 학습률 0.1로 다섯 번 수정하면 손실이 6.5에서 0.10625로 준다. 학습률의 범위에 따른 수렴·진동·발산과 멈춤 기준을 다룬다.

  32. 인공지능의 의사 결정

    #301완성

    같은 정확도면 같은 선택일까?

    인공지능의 의사 결정은 예측 결과에 비용·문턱·운영 조건을 적용해 행동을 고르는 과정이다. 정확도가 0.80으로 같은 가상 누수 경보 모형 두 개의 오류 비용과 경보 문턱, 구역별 피해를 계산하고, 사람이 정할 기준을 구별한다.

  33. 인공지능 수학 탐구

    #302완성

    예측을 어디까지 믿을까?

    인공지능 수학 탐구는 주제와 질문을 정하고 자료·모형·평가·해석을 연결하는 과정이다. 가상 빗물 자료 10행으로 y=ax를 학습하고, 검증 자료로 학습률을 고른 뒤 시험 오차와 한계를 보고하는 전 과정을 계산한다.