직관 — 점수를 합친 뒤 기준선을 넘는다
두 항목에 서로 다른 배점을 주고 점수를 더한다. 합계가 정한 기준에 이르면 통과시킨다. 배점이나 기준을 바꾸면 같은 입력의 결과도 바뀐다.
배점은 가중치, 통과 기준은 임곗값, 통과 여부를 정하는 규칙은 활성화함수에 대응한다. 퍼셉트론은 이 절차를 수로 나타낸 가장 작은 인공 신경망 단위다. 딥러닝의 신경망은 이런 단위를 여러 층으로 이어 만든다.
퍼셉트론은 가중합과 편향을 활성화함수로 판정한다
퍼셉트론(Perceptron)은 입력에 가중치를 곱해 더한 값(가중합)에 편향을 더하고, 활성화함수로 출력을 정하는 모형이다. 뉴런이 받은 신호의 합이 일정 수준을 넘을 때 다음 뉴런에 신호를 전한다는 관찰에서 착안했지만, 실제 뉴런을 그대로 옮긴 것은 아니다. 이 글은 주로 두 실수 입력과 0·1 출력을 다룬다.
식 (2)의 활성화함수는 가 0 이상인지 확인하는 계단 함수다. 경계 은 출력 1에 넣기로 정한다. 출력 1은 해당 범주로 분류한다는 표시이지 100% 확률이라는 뜻이 아니다.
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 입력 | input | 두 항목의 값 | |
| 가중치 | weight | 각 입력에 곱하는 수 | |
| 편향 | bias | 입력과 관계없이 더하는 수 | |
| 가중합과 편향의 합 | weighted sum plus bias | 활성화함수에 넣는 값 | |
| 활성화함수 | activation function | 를 출력으로 바꾸는 함수 | |
| 출력 | output | 이 글에서는 0 또는 1 | |
| 임곗값 | threshold | 가중합과 비교하는 기준. 교과서 기호는 |
교과서는 가중합 가 임곗값 이상이면 1을 내는 활성화함수 를 쓰고, 그 임곗값을 로 적는다. 이 페이지는 임곗값을 로 적고, 부등식 의 양변에서 를 빼 식 (1)의 꼴로 옮긴다. 그래서 이 페이지의 편향은 이고, 교과서의 임곗값 3은 이 페이지의 편향 −3이다. 같은 글자 가 교과서에서는 임곗값, 이 페이지에서는 편향이니 부호에 주의한다.
여기서 편향은 모형의 상수 항이다. 자료가 한쪽으로 치우치는 빅데이터의 편향과는 뜻이 다르다. 입력이 개이면 처럼 같은 자리의 입력과 가중치를 곱해 모두 더한다. 입력을 처럼 정해진 순서로 나열한 것을 수치 벡터라고 부를 수 있지만, 계산에는 이 곱의 합만 필요하다.
퍼셉트론의 가중치는 입력의 영향을 어떻게 바꾸나
가중치는 그 입력이 1 늘 때 가 얼마나 느는지를 정한다. 교육용 예로 을 사람이 정하고 입력 를 넣어 보자.
이므로 이다. 그림 1이 식 (3)의 흐름이다. 첫 입력을 1 늘리면 는 2, 둘째 입력을 1 늘리면 1 는다. 가중치가 음수이면 그 입력이 커질 때 가 줄어든다. 다만 출력은 계단 함수라서 가 달라져도 0·1 판정은 그대로일 수 있다.
figures/weighted_sum.py입력이 셋이어도 방법은 같다. 가중치 , 임곗값 2인 퍼셉트론은 편향이 −2다. 입력 를 넣으면 다음과 같다.
이라 출력은 1이다. 입력 은 이라 출력 0이다. 둘째 가중치가 −2이므로 둘째 입력이 1 커지면 는 2 작아진다.
퍼셉트론의 판정 경계는 왜 직선인가
출력이 0에서 1로 바뀌는 곳은 인 점들이다. 두 가중치가 모두 0인 경우만 아니면 은 일차방정식의 그래프이므로 직선이다. 예의 출력 1 영역은 다음 부등식을 만족하는 점 전체다.
경계는 절편 1.5와 절편 3을 이어 그린다. 원점을 넣으면 이므로 원점이 있는 쪽은 출력 0이고, 반대쪽이 출력 1이다. 경계 위의 은 이라 출력 1이고, 는 이라 출력 0이다.
figures/decision_boundary.py그림 2처럼 두 범주를 한 직선으로 나눌 수 있으면 선형 분리 가능하다고 한다. 퍼셉트론 하나는 선형 분리 가능한 판정만 표현한다. 두 실수 입력의 경계를 다룬 그림과 달리, 다음 논리 예에서는 입력을 0·1로 제한한다.
퍼셉트론으로 OR와 AND를 표현한다
논리값에서 1은 참, 0은 거짓이다. OR(논리합) 는 하나 이상이 참이면 참이고, AND(논리곱) 는 둘 다 참이어야 참이다. 입력 는 0 또는 1로 제한한다. 이처럼 0·1을 받아 0·1을 내는 함수를 부울 함수라고 한다.
가중치를 모두 1로 두면 네 입력의 가중합은 다. OR에는 , AND에는 를 쓰고, 둘 다 식 (2)의 같은 를 적용한다.
| 입력 | OR의 와 출력 | AND의 와 출력 |
|---|---|---|
가능한 입력이 이 네 가지뿐이므로 표는 0·1 입력 전체를 확인한 것이다. 그림 2의 계수 도 0·1 입력에서는 만 1로 보내 AND와 같은 결과를 낸다. 같은 논리 연산을 만드는 계수는 하나가 아니다.
퍼셉트론의 편향은 어느 범위에서 OR·AND가 되나
가중치를 로 고정하면 결과는 편향 만으로 정해진다. OR가 되려면 은 0, 은 1이어야 한다.
은 과 조건이 같고, 의 조건 은 이면 저절로 성립한다. AND가 되려면 은 0, 은 1이어야 한다.
그림 3의 위쪽처럼 를 바꾸면 경계 가 평행이동한다. 아래쪽은 의 구간마다 네 입력의 출력을 이어 적은 무늬다. 경계가 점을 지나는 과 는 경계를 1에 넣는 관례 때문에 각각 OR, AND 쪽에 들어간다.
figures/bias_range.py임곗값 로 바꿔 쓰면 OR는 , AND는 다. 교과서의 임곗값 범위 문제가 이 꼴이다. 부호를 바꾸면 부등호의 방향과 등호의 자리도 함께 바뀐다.
퍼셉트론은 틀린 예에서 가중치를 어떻게 고치나
지금까지는 계수를 사람이 정해 OR·AND를 표현했다. 자료의 정답과 예측을 비교해 계수를 고치는 과정이 학습이다. 흔히 퍼셉트론 학습 규칙이라 부르는 방법은 틀린 입력에서만 오차 만큼 계수를 옮긴다(는 정답).
맞히면 이라 그대로다. 정답 1을 0으로 틀리면 오차가 1이라 입력을 더해 를 키우고, 정답 0을 1로 틀리면 오차가 −1이라 입력을 빼서 를 줄인다.
OR 자료 네 개를 순서로 되풀이해 넣고, 계수 0에서 시작하자. 첫 입력 은 이라 1로 틀려서 가 −1이 된다. 둘째 입력 은 이라 0으로 틀려서 가 1, 가 0이 된다.
figures/learning_steps.py그림 4처럼 계수는 틀린 입력에서만 바뀐다. 바퀴마다 틀린 개수는 2, 2, 1이고, 다섯 번 고친 뒤 넷째 바퀴에서는 하나도 틀리지 않는다. 도착한 계수 은 사람이 정한 OR의 계수와 같다.
같은 규칙을 AND 자료에 돌리면 여섯째 바퀴에서 처음으로 틀린 것이 없고, 계수는 그림 2와 같은 이다. 사람이 정한 와 다르지만 네 입력에서 같은 AND를 만든다. 네 점을 모두 맞히는 계수가 있으면 이 규칙이 유한 번 고친 뒤 멈춘다는 정리가 알려져 있다. 그런 계수가 없는 경우가 다음 글의 XOR이다.
퍼셉트론은 가중합에 편향을 더한 값이 0 이상이면 1을 내는 판정이며, 두 입력이면 그 경계는 직선이고 OR·AND는 편향의 범위로 갈린다.
퍼셉트론의 편향은 왜 필요한가?
퍼셉트론의 편향은 판정 경계를 원점에서 떨어뜨리는 데 필요하다. 편향이 없으면 입력 의 가 가중치와 관계없이 0이라 출력이 1로 고정되므로, 에서 0이어야 하는 OR와 AND를 만들 수 없다.
퍼셉트론의 가중치가 모두 0이면 어떻게 되나?
가중치가 모두 0인 퍼셉트론은 입력과 관계없이 편향만으로 출력한다. 이 글의 규칙에서는 이면 항상 1이고 이면 항상 0이므로, 입력을 나누는 직선 경계가 없다.
퍼셉트론의 활성화함수는 항상 계단 함수인가?
아니다. 고전적 퍼셉트론은 계단 함수를 쓰지만, 신경망에서는 음수를 0으로 바꾸는 렐루(ReLU) 함수나 0과 1 사이의 값을 내는 시그모이드 함수도 쓴다. 층을 쌓은 신경망은 역전파로 가중치를 고치는데, 계단 함수는 이 아닌 곳에서 기울기가 0이라 그 방법에 맞지 않는다.
퍼셉트론의 흔한 오해
- 출력 1은 정답일 확률이 1이라는 뜻이다. — 식 (2)는 가 0 이상이라는 판정만 준다. 정답과의 일치나 확률은 따로 확인해야 한다.
- 가중치를 정해 표를 만들었으니 학습도 끝냈다. — OR 표는 사람이 정한 계수를 확인한 것이다. 학습은 식 (8)처럼 자료로 계수를 고치는 과정이고, 그림 4에서는 다섯 번 고쳤다.
- 교과서의 와 이 글의 는 같은 수다. — 교과서의 는 임곗값, 이 글의 는 편향이라 부호가 반대다. 임곗값 2로 만든 AND는 편향 −2이고, 식 (7)의 범위도 임곗값으로 바꾸면 가 된다.
직접 해보기
- 일 때 과 의 와 출력을 구하라.
- 가중치가 일 때 0·1 입력에서 AND가 되는 편향 의 범위를 구하라. 임곗값 로는 어떻게 쓰는가?
- 입력 에 대해 의 출력을 구하라. 둘 다 1인 경우만 0이 되는지 확인하라.
- 에서 를 고정하고 을 2 늘리면 는 얼마나 변하는가? 출력도 그만큼 변하는가?
- 인 퍼셉트론에 AND 자료 하나인 입력 , 정답 0을 넣고 식 (8)로 한 번 고친 계수를 구하라.
답
- 첫 합은 이라 출력 0이다. 둘째 합은 이라 경계에 포함되어 출력 1이다.
- 조건은 에서 , 에서 , 에서 , 에서 이다. 모두 만족하는 범위는 이고, 임곗값으로는 다.
- 합은 , 출력은 이다. 이 규칙을 NAND라고 부르며, AND의 출력을 뒤집은 것이다. 다음 글에서 XOR의 재료가 된다.
- 합은 증가한다. 출력은 0 또는 1이므로 6만큼 증가할 수 없다. 경계를 넘는지에 따라 그대로이거나 0에서 1로 바뀐다.
- 이라 출력 1이고 정답 0이므로 오차는 −1이다. , , 이 된다. 고친 뒤 같은 입력의 는 −1이라 출력 0으로 맞는다.
더 읽기
- 씨마스, 2022 인공지능 수학 전자책 — 인쇄 16–17쪽의 가중치·임곗값·활성화함수, 22–23쪽의 OR·AND와 임곗값 범위. 이 글은 교과서의 임곗값(교과서 기호 )을 로 적고 편향 로 옮겨 판정 기준을 0으로 통일했다.
- Rosenblatt, The Perceptron (1958) — Psychological Review 65(6), 인쇄 386–408쪽. 모형의 역사와 목적을 읽는 자료이며 위의 손계산 예제의 출처는 아니다.
- Rumelhart·Hinton·Williams, Learning representations by back-propagating errors (1986) — Nature 323, 533–536쪽. 533쪽에서 편향을 늘 1인 입력의 가중치, 곧 반대 부호의 임곗값으로 설명한다. '퍼셉트론은 가중합과 편향을 활성화함수로 판정한다' 절의 가 기댄다.
영상 노트
- 00:00 배점·임곗값 비유, 식 (1)·(2), 교과서의 임곗값 와 이 글의 편향
- 00:50 식 (3)·(4): 두 입력과 세 입력의 가중합
- 01:40 식 (5)와 그림 2: 절편으로 경계 그리기, 선형 분리
- 02:30 OR·AND 진리표, 식 (6)·(7)과 그림 3의 편향 범위
- 03:40 식 (8)과 그림 4: 다섯 번 고쳐 OR 계수에 도착, AND는 다른 계수
- 04:40 직접 해보기 2: 임곗값 범위 문제
지도에서의 위치
- 2026-11-16 · 에이전트 초안
- 2026-11-17 · 전수 검수 반영 — 교과서의 임곗값 c와 이 글의 편향 c의 부호 관계를 명시, 세 입력 예제, 경계의 절편, OR·AND가 되는 편향 범위, 퍼셉트론 학습 규칙과 연습 보강 (에이전트 수정, 그림 2→4)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림