직관 — 두 검사 결과를 한 번 더 검사한다
두 버튼 중 정확히 하나를 누를 때만 표시등이 켜진다고 하자. 하나 이상을 눌렀는지와 둘을 함께 누르지는 않았는지를 먼저 검사한다. 두 검사를 모두 통과하면 표시등을 켠다.
첫 두 검사는 은닉층의 중간 출력, 마지막 검사는 출력층의 최종 출력에 대응한다. 퍼셉트론을 여러 층으로 연결하면 직선 하나로는 표현하지 못한 규칙도 표현할 수 있다. 딥러닝 신경망이 층을 여럿 쌓는 이유를 가장 작게 보여 주는 예가 XOR이다.
XOR은 두 입력이 다를 때 참이다
XOR(배타적 논리합, Exclusive OR)은 두 논리값 중 정확히 하나만 참일 때 참인 연산이다. 교과서는 로 쓴다. 여기서는 거짓을 0, 참을 1로 나타내고 입력 를 0 또는 1로 제한한다. OR는 둘 다 1이어도 참이지만 XOR은 그때 거짓이다.
| OR | AND | XOR | ||
|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 |
| 1 | 1 | 1 | 1 | 0 |
| 기호 | 이름 | 원어 | 뜻 |
|---|---|---|---|
| 입력 | input | 두 논리값 0 또는 1 | |
| 가중치와 편향 | weights and bias | 하나의 퍼셉트론 계수 | |
| 계단 활성화함수 | step activation | 이면 1, 아니면 0 | |
| 중간 출력 | hidden outputs | 은닉층의 OR·NAND 결과 | |
| 최종 출력 | output | 출력층의 판정 |
편향 는 앞 글처럼 임곗값 의 부호를 바꾼 값()이다. 교과서는 임곗값을 로 적으니, 같은 글자라도 부호가 반대다. XOR은 켜진 입력의 개수가 홀수일 때 1이라고 볼 수도 있다. 이렇게 개수의 홀짝을 가리는 판정을 홀짝 판정(parity)이라 하고, 두 입력의 XOR은 그 가장 작은 경우다.
그림 1은 출력이 같은 점끼리 대각선으로 짝지어진 모습이다. 그림을 보고 어려워 보인다는 것만으로 불가능을 증명한 것은 아니므로, 모든 계수에 대한 이유를 확인하자.
figures/xor_points.pyXOR은 왜 하나의 퍼셉트론으로 표현할 수 없나?
하나의 퍼셉트론 가 XOR의 네 출력을 모두 맞힌다고 가정하면 서로 모순되는 부등식을 얻는다. 경계에서 1을 출력하는 앞 글의 관례를 유지한다.
식 (1)의 가운데 두 부등식을 더하면 , 곧 다. 첫 부등식에서 이므로 이다. 그러나 마지막 조건은 같은 값이 0보다 작아야 한다고 요구한다. 어떤 실수 계수를 골라도 네 조건을 함께 만족시킬 수 없다.
이는 여러 계수를 시험하다 실패했다는 수치 관찰이 아니다. 두 입력의 가중합 하나에 계단 함수를 적용하는 모든 모형에 대한 불가능 논증이다. 앞 글의 말로 하면 XOR의 네 점은 선형 분리 가능하지 않다. 입력을 새롭게 변환하거나 층을 추가하면 이 가정이 달라진다.
XOR은 OR와 NAND를 AND로 이어 만든다
NAND는 AND의 결과를 뒤집어, 둘 다 1인 경우에만 0을 출력한다. 은닉층에서 OR의 출력 와 NAND의 출력 를 만들자.
출력층에서는 두 중간 출력이 모두 1인지, 곧 AND를 검사한다.
식 (2)의 는 '하나 이상 1', 는 '둘 다 1은 아님'을 검사한다. 둘을 모두 통과하면 정확히 하나만 1이므로 XOR이다. 논리식으로는 다. 같은 분해를 게이트로 만드는 방법은 논리 회로에서 다룬다. 그림 2가 이 망의 구조와 계수다.
figures/mlp_network.py| 입력 | ||||||
|---|---|---|---|---|---|---|
| 0 | 1 | 1 | 0 | |||
| 0 | 1 | 0 | 1 | 0 | 1 | |
| 0 | 1 | 0 | 1 | 0 | 1 | |
| 1 | 1 | 0 | 0 |
가능한 입력 네 가지를 빠짐없이 계산했다. 그림 3은 원래 네 점이 중간 출력의 세 점으로 바뀌는 모습이다. 원래 출력 1인 두 입력은 둘 다 로 모이고, 그 점만 출력층의 경계 위에 놓인다.
figures/hidden_representation.py다층 퍼셉트론의 은닉층은 직선 두 개를 겹친다
입력과 최종 출력 사이에서 값을 계산하는 층을 은닉층이라고 한다. 입력층과 출력층만 있으면 단층 퍼셉트론, 은닉층이 하나 이상이면 다층 퍼셉트론이다. 입력층은 값을 전달만 하므로, 이 모형은 은닉층과 출력층의 두 계산 층을 갖는다.
은닉값 하나는 직선 하나의 판정이다. 은 , 은 인 쪽이고, 출력층은 두 조건이 모두 참인 곳을 고른다. 이 계수에서는 두 경계가 같은 직선 이라, 실수 평면에서 1을 내는 곳은 그 직선 위뿐이다. 0·1 입력 네 점만 다룰 때는 문제가 없다.
편향을 와 로 벌리면 은 , 은 가 된다. 네 점의 결과는 그대로이고, 1을 내는 영역은 그림 4처럼 두 평행선 사이의 띠가 된다. 교과서도 XOR의 참인 두 점을 이런 띠로 가른다.
figures/xor_band.pyXOR의 은닉층에는 반드시 두 값이 필요한가?
XOR을 층과 층만 잇는 계단 퍼셉트론으로 만들면 은닉값이 둘 이상 필요하다. 은닉값이 하나면 출력은 가운데 하나인데, 와 는 둘 다 직선 하나의 판정이라 식 (1)과 같은 모순이 생긴다. 입력을 출력에 직접 잇는 연결을 더하면 하나로도 된다. 러멀하트 등의 1986년 장은 AND를 검사하는 은닉 단위(임곗값 1.5) 하나와 직접 연결로 XOR을 만든다.
은닉값 하나로 XOR을 만드는 직접 연결 망
러멀하트 등의 망을 이 글의 기호로 옮기면 은닉값은 , 출력은 다. 는 에서만 1이다. 출력의 합은 에서 , 과 에서 , 에서 이므로 출력은 이다.
층끼리만 이으면 왜 안 되는지도 식 (1)로 보인다. 가 XOR이 되려면 가 거꾸로 에서 1, 나머지에서 0이어야 한다. 이는 , , , 을 요구하고, 가운데 둘을 더하면 이 되어 마지막 조건과 모순이다.
단층 퍼셉트론의 학습 규칙은 왜 XOR에서 멈추지 않나
단층 퍼셉트론의 학습 규칙이 XOR에서 멈추지 않는 것은 네 점을 모두 맞히는 계수가 없기 때문이다. 한 바퀴를 틀림없이 마쳤다면 그 바퀴 동안 계수가 바뀌지 않았으므로 그 계수가 네 점을 모두 맞힌다는 뜻인데, 식 (1)이 그런 계수를 막는다.
앞 글의 규칙을 계수 0에서 시작해 XOR 자료에 돌리면, 바퀴마다 틀린 개수가 3, 3, 4, 4, …다. 둘째 바퀴가 끝난 계수 에서 셋째 바퀴를 돌면 같은 계수로 돌아온다. 계수가 같으면 다음 바퀴도 똑같이 진행되므로 네 입력을 모두 틀리는 바퀴가 끝없이 되풀이된다. 그림 5처럼 같은 규칙이 OR에서는 넷째 바퀴에 멈추는 것과 대조된다.
figures/xor_learning.pyXOR 문제는 신경망의 역사에서 무엇을 보여 주었나
XOR은 단층 퍼셉트론의 한계와 다층 신경망의 필요를 함께 보여 주는 대표적인 역사적 사례다. 논리 연산을 신경망으로 다루는 연구에서 시작해, 은닉층의 가중치를 학습하는 방법이 나오기까지의 흐름은 다음과 같다.
| 연도 | 연구 | 수학적 내용 |
|---|---|---|
| 1943 | 매컬럭·피츠 | 뉴런의 '전부 아니면 전무' 활동을 명제 논리로 다룸 |
| 1958 | 로젠블랫 | 연결의 값이 경험으로 바뀌는 퍼셉트론으로 인식과 기억을 설명 |
| 1969 | 민스키·페퍼트 | 책 『Perceptrons』에서 퍼셉트론이 계산할 수 있는 판정의 한계를 분석 |
| 1986 | 러멀하트·힌턴·윌리엄스 | 은닉 단위의 가중치까지 고치는 학습 절차(역전파)를 발표 |
교과서 연표는 퍼셉트론 제안을 1957년으로 적고, 이 페이지가 읽은 학술지 논문은 1958년에 나왔다. 민스키와 페퍼트가 다룬 대표 예가 홀짝 판정과 연결성이며, 두 입력의 XOR은 홀짝 판정의 가장 작은 경우다. 교과서는 이 비판 뒤 신경망 연구가 한동안 정체되었다고 설명한다. 다만 그 원인을 이 책 하나로 볼 수 있는지에는 논쟁이 있다.
1986년 러멀하트·힌턴·윌리엄스는 은닉 단위가 없는 망이 풀지 못하는 고전적인 예로 XOR을 들고, 은닉 단위의 가중치까지 오차를 줄이도록 고치는 학습 절차를 제시했다. 이 방법은 계단 함수 대신 매끄럽게 변하는 활성화함수를 쓰며, 자세한 계산은 역전파에서 다룬다. 이 글은 XOR을 표현하는 계수가 존재함을 손으로 구성해 보였을 뿐, 어떤 학습법이 그 계수를 반드시 찾는다는 증명은 하지 않았다. 다음 글의 전문가시스템은 학습한 가중치 대신 사람이 적은 규칙을 잇는 또 다른 역사적 접근이다.
XOR은 두 입력이 다를 때만 1이며, 단일 계단 퍼셉트론으로는 표현할 수 없지만 OR와 NAND를 AND로 잇는 두 층 퍼셉트론으로는 표현된다.
XOR과 OR는 무엇이 다른가?
XOR은 정확히 하나만 참일 때 참이고, OR는 하나 이상 참일 때 참이다. 두 입력이 이면 OR는 1, XOR은 0이므로 두 연산은 다르다.
XOR을 표현하면 신경망의 학습도 성공한 것인가?
아니다. XOR을 표현하는 계수를 손으로 찾은 것과 자료에서 그 계수를 학습하는 것은 다른 작업이다. 네 입력을 모두 맞힌 이 구성은 표현 가능성을 확인하지만, 새 문제의 학습 성능까지 보장하지 않는다.
XOR과 다층 퍼셉트론의 흔한 오해
- 직선 몇 개를 그려 보고 안 되면 불가능이 증명된다. — 식 (1)은 시험하지 않은 계수까지 포함한 부등식 모순이다. 그림은 그 결과를 이해하도록 돕는다.
- 층을 추가하기만 하면 어떤 계수도 XOR이 된다. — 식 (3)의 편향을 에서 0으로 바꾸면 이므로 출력은 모두 1이 된다. 구조뿐 아니라 계수도 중요하다.
- 민스키와 페퍼트는 층을 쌓은 신경망도 XOR을 못 한다고 증명했다. — 그들이 분석한 것은 학습하는 가중치가 한 층뿐인 퍼셉트론이다. 그 앞단의 특징 검출기는 연결을 손으로 고정한다. 러멀하트 등은 1986년 장에서, 은닉 단위 층이 있으면 어떤 대응도 만들 수 있다는 점을 민스키와 페퍼트도 지적했다고 썼다.
직접 해보기
- 입력 을 식 (2)와 식 (3)에 넣어 세 가중합과 출력을 차례로 쓰라.
- 식 (3)의 편향을 로 바꾸면 네 입력의 최종 출력은 어떻게 되는가?
- 식 (2)는 그대로 두고 최종 출력을 로 바꾸라. 두 입력이 같을 때만 1인지 확인하라.
- 가중치 인 단일 퍼셉트론의 편향을 어떤 실수로 바꾸면 XOR을 만들 수 있는가? 불가능한 이유를 조건 두 개로 설명하라.
- 은닉층을 (OR)과 (AND)로 바꾸고 출력을 로 두라. 네 입력의 와 출력을 구해 XOR인지 확인하라.
답
- 첫 합은 이라 , 둘째 합은 이라 이다. 마지막 합 에서 출력은 1이다. 본문 표의 계산 절차를 재현하는 문항이다.
- 중간 출력은 이다. 합 은 으로 모두 0 이상이어서 최종 출력은 전부 1이다.
- 합 은 이다. 출력은 로 두 원래 입력이 같은 경우만 1이다. 이를 XNOR라고 부른다.
- 에서 1이려면 , 곧 이다. 에서 0이려면 , 곧 다. 두 조건을 함께 만족하는 는 없다.
- 는 차례로 이다. 합 은 이므로 출력은 으로 XOR이다. AND의 가중치가 음수여서, 둘 다 1인 경우를 출력층에서 끈다.
더 읽기
- 씨마스, 2022 인공지능 수학 전자책 — 인쇄 20–25쪽의 연표, 논리 연산과 진리표, 다층 퍼셉트론, 단층 퍼셉트론의 한계. 이 글은 같은 성취 목표를 OR·NAND 구성으로 확인하고, 교과서형 OR·AND 은닉층은 직접 해보기 5번에서 다룬다.
- McCulloch와 Pitts, A Logical Calculus (1943) — Bulletin of Mathematical Biophysics 5, 115–133쪽. 논리 표현과 신경망 활동의 관계를 다룬 원논문. 역사 설명의 근거이며 본문의 계수와 예제는 별도 구성이다.
- Rumelhart·Hinton·Williams, Learning Internal Representations by Error Propagation (1986) — 『Parallel Distributed Processing』 1권 8장, 318–320쪽. XOR을 은닉 단위 없는 망의 고전적 한계로 들고, 은닉 단위 하나와 직접 연결로 푸는 망을 보인다. 'XOR 문제는 신경망의 역사에서 무엇을 보여 주었나' 절과 은닉값 질문이 기댄다.
- Wikipedia, Perceptrons (book) — 민스키·페퍼트 1969년 책의 홀짝 판정·연결성 결과와, 이 책의 영향에 대한 해석 논쟁을 정리한다.
영상 노트
- 00:00 XOR 진리표와 대각선 네 점, 홀짝 판정
- 00:40 식 (1)의 네 조건으로 불가능 논증, 선형 분리
- 01:50 그림 2의 망 구조와 식 (2)·(3)의 모든 중간값 계산
- 03:00 그림 3의 은닉 표현, 그림 4의 두 경계 사이 띠
- 04:00 그림 5의 단층 학습 규칙 실패, 역사 표 1943·1958·1969·1986
- 05:00 은닉값 하나로 되는 조건, OR·AND 은닉층 연습
지도에서의 위치
- 2026-11-16 · 에이전트 초안
- 2026-11-17 · 전수 검수 반영 — 망 구조도와 두 경계 사이의 띠, 1943·1958·1969·1986 역사와 단층 학습 규칙의 실패, 은닉값 하나로 되는 조건, 교과서형 OR·AND 은닉층 연습 보강, 민스키·페퍼트가 분석한 퍼셉트론의 구조 서술 바로잡음 (에이전트 수정, 그림 2→5)
- 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림