AIXOR과 다층 퍼셉트론#284

XOR과 다층 퍼셉트론

XOR and Multilayer Perceptrons

XOR은 두 논리값이 다를 때만 참인 연산이다. 하나의 계단 퍼셉트론으로 표현할 수 없는 이유를 부등식으로 보이고, OR·NAND·AND를 조합한 두 층 모형의 모든 입력과 경계를 계산한다. XOR 문제가 신경망의 역사에서 무엇을 보여 주었는지도 살핀다.

읽는 시간
약 8분
선수 개념
퍼셉트론

직관 — 두 검사 결과를 한 번 더 검사한다

직관

두 버튼 중 정확히 하나를 누를 때만 표시등이 켜진다고 하자. 하나 이상을 눌렀는지와 둘을 함께 누르지는 않았는지를 먼저 검사한다. 두 검사를 모두 통과하면 표시등을 켠다.

첫 두 검사는 은닉층의 중간 출력, 마지막 검사는 출력층의 최종 출력에 대응한다. 퍼셉트론을 여러 층으로 연결하면 직선 하나로는 표현하지 못한 규칙도 표현할 수 있다. 딥러닝 신경망이 층을 여럿 쌓는 이유를 가장 작게 보여 주는 예가 XOR이다.

XOR은 두 입력이 다를 때 참이다

XOR(배타적 논리합, Exclusive OR)은 두 논리값 중 정확히 하나만 참일 때 참인 연산이다. 교과서는 x1⊕x2x_1\oplus x_2로 쓴다. 여기서는 거짓을 0, 참을 1로 나타내고 입력 x1,x2x_1,x_2를 0 또는 1로 제한한다. OR는 둘 다 1이어도 참이지만 XOR은 그때 거짓이다.

x1x_1x2x_2ORANDXOR
00000
01101
10101
11110
정의
기호이름원어뜻
x1,x2x_1,x_2입력input두 논리값 0 또는 1
w1,w2,cw_1,w_2,c가중치와 편향weights and bias하나의 퍼셉트론 계수
h(z)h(z)계단 활성화함수step activationz≥0z\ge0이면 1, 아니면 0
u,vu,v중간 출력hidden outputs은닉층의 OR·NAND 결과
y^\hat y최종 출력output출력층의 판정

편향 cc는 앞 글처럼 임곗값 tt의 부호를 바꾼 값(c=−tc=-t)이다. 교과서는 임곗값을 cc로 적으니, 같은 글자라도 부호가 반대다. XOR은 켜진 입력의 개수가 홀수일 때 1이라고 볼 수도 있다. 이렇게 개수의 홀짝을 가리는 판정을 홀짝 판정(parity)이라 하고, 두 입력의 XOR은 그 가장 작은 경우다.

그림 1은 출력이 같은 점끼리 대각선으로 짝지어진 모습이다. 그림을 보고 어려워 보인다는 것만으로 불가능을 증명한 것은 아니므로, 모든 계수에 대한 이유를 확인하자.

0·1 입력 네 점에서 XOR의 출력. 대각선의 (0,0),(1,1)은 0이고 나머지 두 점은 1이다.
그림 1 0·1 입력 네 점에서 XOR의 출력. 대각선의 (0,0),(1,1)(0,0),(1,1)은 0이고 나머지 두 점은 1이다. figures/xor_points.py

XOR은 왜 하나의 퍼셉트론으로 표현할 수 없나?

하나의 퍼셉트론 h(w1x1+w2x2+c)h(w_1x_1+w_2x_2+c)가 XOR의 네 출력을 모두 맞힌다고 가정하면 서로 모순되는 부등식을 얻는다. 경계에서 1을 출력하는 앞 글의 관례를 유지한다.

(0,0)↦0:c<0,(1,0)↦1:w1+c≥0,(0,1)↦1:w2+c≥0,(1,1)↦0:w1+w2+c<0.(1)\begin{aligned} (0,0)\mapsto0&:\quad c<0,\\ (1,0)\mapsto1&:\quad w_1+c\ge0,\\ (0,1)\mapsto1&:\quad w_2+c\ge0,\\ (1,1)\mapsto0&:\quad w_1+w_2+c<0. \end{aligned} \tag{1}

식 (1)의 가운데 두 부등식을 더하면 w1+w2+2c≥0w_1+w_2+2c\ge0, 곧 w1+w2+c≥−cw_1+w_2+c\ge-c다. 첫 부등식에서 −c>0-c>0이므로 w1+w2+c>0w_1+w_2+c>0이다. 그러나 마지막 조건은 같은 값이 0보다 작아야 한다고 요구한다. 어떤 실수 계수를 골라도 네 조건을 함께 만족시킬 수 없다.

이는 여러 계수를 시험하다 실패했다는 수치 관찰이 아니다. 두 입력의 가중합 하나에 계단 함수를 적용하는 모든 모형에 대한 불가능 논증이다. 앞 글의 말로 하면 XOR의 네 점은 선형 분리 가능하지 않다. 입력을 새롭게 변환하거나 층을 추가하면 이 가정이 달라진다.

XOR은 OR와 NAND를 AND로 이어 만든다

NAND는 AND의 결과를 뒤집어, 둘 다 1인 경우에만 0을 출력한다. 은닉층에서 OR의 출력 uu와 NAND의 출력 vv를 만들자.

u=h(x1+x2−1),v=h(−x1−x2+1)(2)u=h(x_1+x_2-1),\qquad v=h(-x_1-x_2+1) \tag{2}

출력층에서는 두 중간 출력이 모두 1인지, 곧 AND를 검사한다.

y^=h(u+v−2)(3)\hat y=h(u+v-2) \tag{3}

식 (2)의 uu는 '하나 이상 1', vv는 '둘 다 1은 아님'을 검사한다. 둘을 모두 통과하면 정확히 하나만 1이므로 XOR이다. 논리식으로는 x1⊕x2=(x1∨x2)∧∼(x1∧x2)x_1\oplus x_2=(x_1\vee x_2)\wedge\sim(x_1\wedge x_2)다. 같은 분해를 게이트로 만드는 방법은 논리 회로에서 다룬다. 그림 2가 이 망의 구조와 계수다.

XOR을 만드는 두 층 퍼셉트론. 은닉층의 u는 가중치 1,1과 편향 -1인 OR, v는 가중치 -1,-1과 편향 1인 NAND이고, 출력층은 가중치 1,1과 편향 -2인 AND다.
그림 2 XOR을 만드는 두 층 퍼셉트론. 은닉층의 uu는 가중치 1,11,1과 편향 −1-1인 OR, vv는 가중치 −1,−1-1,-1과 편향 11인 NAND이고, 출력층은 가중치 1,11,1과 편향 −2-2인 AND다. figures/mlp_network.py
입력x1+x2−1x_1+x_2-1uu−x1−x2+1-x_1-x_2+1vvu+v−2u+v-2y^\hat y
(0,0)(0,0)−1-1011−1-10
(0,1)(0,1)010101
(1,0)(1,0)010101
(1,1)(1,1)11−1-10−1-10

가능한 입력 네 가지를 빠짐없이 계산했다. 그림 3은 원래 네 점이 중간 출력의 세 점으로 바뀌는 모습이다. 원래 출력 1인 두 입력은 둘 다 (u,v)=(1,1)(u,v)=(1,1)로 모이고, 그 점만 출력층의 경계 u+v=2u+v=2 위에 놓인다.

식 (2)로 바뀐 중간 출력 좌표. (0,0)은 (0,1)로, (1,1)은 (1,0)으로, 나머지 두 입력은 모두 (1,1)로 간다. 식 (3)의 u+v=2 경계에 있는 점만 1로 판정한다.
그림 3 식 (2)로 바뀐 중간 출력 좌표. (0,0)(0,0)은 (0,1)(0,1)로, (1,1)(1,1)은 (1,0)(1,0)으로, 나머지 두 입력은 모두 (1,1)(1,1)로 간다. 식 (3)의 u+v=2u+v=2 경계에 있는 점만 1로 판정한다. figures/hidden_representation.py

다층 퍼셉트론의 은닉층은 직선 두 개를 겹친다

입력과 최종 출력 사이에서 값을 계산하는 층을 은닉층이라고 한다. 입력층과 출력층만 있으면 단층 퍼셉트론, 은닉층이 하나 이상이면 다층 퍼셉트론이다. 입력층은 값을 전달만 하므로, 이 모형은 은닉층과 출력층의 두 계산 층을 갖는다.

은닉값 하나는 직선 하나의 판정이다. u=1u=1은 x1+x2≥1x_1+x_2\ge1, v=1v=1은 x1+x2≤1x_1+x_2\le1인 쪽이고, 출력층은 두 조건이 모두 참인 곳을 고른다. 이 계수에서는 두 경계가 같은 직선 x1+x2=1x_1+x_2=1이라, 실수 평면에서 1을 내는 곳은 그 직선 위뿐이다. 0·1 입력 네 점만 다룰 때는 문제가 없다.

편향을 −0.5-0.5와 1.51.5로 벌리면 u=1u=1은 x1+x2≥0.5x_1+x_2\ge0.5, v=1v=1은 x1+x2≤1.5x_1+x_2\le1.5가 된다. 네 점의 결과는 그대로이고, 1을 내는 영역은 그림 4처럼 두 평행선 사이의 띠가 된다. 교과서도 XOR의 참인 두 점을 이런 띠로 가른다.

은닉층의 편향을 -0.5, 1.5로 바꾼 망이 1을 내는 영역(칠한 띠, 0.5≤ x_1+x_2≤1.5). 원 두 개가 XOR의 1, 사각형 두 개가 0이며, 점선은 원래 편향 -1, 1일 때 두 경계가 겹치는 직선 x_1+x_2=1이다.
그림 4 은닉층의 편향을 −0.5-0.5, 1.51.5로 바꾼 망이 1을 내는 영역(칠한 띠, 0.5≤x1+x2≤1.50.5\le x_1+x_2\le1.5). 원 두 개가 XOR의 1, 사각형 두 개가 0이며, 점선은 원래 편향 −1-1, 11일 때 두 경계가 겹치는 직선 x1+x2=1x_1+x_2=1이다. figures/xor_band.py

XOR의 은닉층에는 반드시 두 값이 필요한가?

XOR을 층과 층만 잇는 계단 퍼셉트론으로 만들면 은닉값이 둘 이상 필요하다. 은닉값이 uu 하나면 출력은 0,1,u,1−u0,1,u,1-u 가운데 하나인데, uu와 1−u1-u는 둘 다 직선 하나의 판정이라 식 (1)과 같은 모순이 생긴다. 입력을 출력에 직접 잇는 연결을 더하면 하나로도 된다. 러멀하트 등의 1986년 장은 AND를 검사하는 은닉 단위(임곗값 1.5) 하나와 직접 연결로 XOR을 만든다.

은닉값 하나로 XOR을 만드는 직접 연결 망

러멀하트 등의 망을 이 글의 기호로 옮기면 은닉값은 u=h(x1+x2−1.5)u=h(x_1+x_2-1.5), 출력은 y^=h(x1+x2−2u−0.5)\hat y=h(x_1+x_2-2u-0.5)다. uu는 (1,1)(1,1)에서만 1이다. 출력의 합은 (0,0)(0,0)에서 −0.5-0.5, (0,1)(0,1)과 (1,0)(1,0)에서 0.50.5, (1,1)(1,1)에서 2−2−0.5=−0.52-2-0.5=-0.5이므로 출력은 0,1,1,00,1,1,0이다.

층끼리만 이으면 왜 안 되는지도 식 (1)로 보인다. 1−u1-u가 XOR이 되려면 uu가 거꾸로 (0,0),(1,1)(0,0),(1,1)에서 1, 나머지에서 0이어야 한다. 이는 c≥0c\ge0, w1+c<0w_1+c<0, w2+c<0w_2+c<0, w1+w2+c≥0w_1+w_2+c\ge0을 요구하고, 가운데 둘을 더하면 w1+w2+c<−c≤0w_1+w_2+c<-c\le0이 되어 마지막 조건과 모순이다.

단층 퍼셉트론의 학습 규칙은 왜 XOR에서 멈추지 않나

단층 퍼셉트론의 학습 규칙이 XOR에서 멈추지 않는 것은 네 점을 모두 맞히는 계수가 없기 때문이다. 한 바퀴를 틀림없이 마쳤다면 그 바퀴 동안 계수가 바뀌지 않았으므로 그 계수가 네 점을 모두 맞힌다는 뜻인데, 식 (1)이 그런 계수를 막는다.

앞 글의 규칙을 계수 0에서 시작해 XOR 자료에 돌리면, 바퀴마다 틀린 개수가 3, 3, 4, 4, …다. 둘째 바퀴가 끝난 계수 (w1,w2,c)=(−1,0,0)(w_1,w_2,c)=(-1,0,0)에서 셋째 바퀴를 돌면 같은 계수로 돌아온다. 계수가 같으면 다음 바퀴도 똑같이 진행되므로 네 입력을 모두 틀리는 바퀴가 끝없이 되풀이된다. 그림 5처럼 같은 규칙이 OR에서는 넷째 바퀴에 멈추는 것과 대조된다.

앞 글의 퍼셉트론 학습 규칙을 계수 0에서 시작해 OR 자료와 XOR 자료에 돌린 결과. 가로축 n은 네 입력을 한 번씩 넣는 바퀴 수, 세로축은 그 바퀴에서 틀린 개수다. OR는 넷째 바퀴에 0이 되지만 XOR은 셋째 바퀴부터 네 입력을 모두 틀리는 순환에 빠진다.
그림 5 앞 글의 퍼셉트론 학습 규칙을 계수 0에서 시작해 OR 자료와 XOR 자료에 돌린 결과. 가로축 nn은 네 입력을 한 번씩 넣는 바퀴 수, 세로축은 그 바퀴에서 틀린 개수다. OR는 넷째 바퀴에 0이 되지만 XOR은 셋째 바퀴부터 네 입력을 모두 틀리는 순환에 빠진다. figures/xor_learning.py

XOR 문제는 신경망의 역사에서 무엇을 보여 주었나

XOR은 단층 퍼셉트론의 한계와 다층 신경망의 필요를 함께 보여 주는 대표적인 역사적 사례다. 논리 연산을 신경망으로 다루는 연구에서 시작해, 은닉층의 가중치를 학습하는 방법이 나오기까지의 흐름은 다음과 같다.

연도연구수학적 내용
1943매컬럭·피츠뉴런의 '전부 아니면 전무' 활동을 명제 논리로 다룸
1958로젠블랫연결의 값이 경험으로 바뀌는 퍼셉트론으로 인식과 기억을 설명
1969민스키·페퍼트책 『Perceptrons』에서 퍼셉트론이 계산할 수 있는 판정의 한계를 분석
1986러멀하트·힌턴·윌리엄스은닉 단위의 가중치까지 고치는 학습 절차(역전파)를 발표

교과서 연표는 퍼셉트론 제안을 1957년으로 적고, 이 페이지가 읽은 학술지 논문은 1958년에 나왔다. 민스키와 페퍼트가 다룬 대표 예가 홀짝 판정과 연결성이며, 두 입력의 XOR은 홀짝 판정의 가장 작은 경우다. 교과서는 이 비판 뒤 신경망 연구가 한동안 정체되었다고 설명한다. 다만 그 원인을 이 책 하나로 볼 수 있는지에는 논쟁이 있다.

1986년 러멀하트·힌턴·윌리엄스는 은닉 단위가 없는 망이 풀지 못하는 고전적인 예로 XOR을 들고, 은닉 단위의 가중치까지 오차를 줄이도록 고치는 학습 절차를 제시했다. 이 방법은 계단 함수 대신 매끄럽게 변하는 활성화함수를 쓰며, 자세한 계산은 역전파에서 다룬다. 이 글은 XOR을 표현하는 계수가 존재함을 손으로 구성해 보였을 뿐, 어떤 학습법이 그 계수를 반드시 찾는다는 증명은 하지 않았다. 다음 글의 전문가시스템은 학습한 가중치 대신 사람이 적은 규칙을 잇는 또 다른 역사적 접근이다.

핵심

XOR은 두 입력이 다를 때만 1이며, 단일 계단 퍼셉트론으로는 표현할 수 없지만 OR와 NAND를 AND로 잇는 두 층 퍼셉트론으로는 표현된다.

XOR과 OR는 무엇이 다른가?

XOR은 정확히 하나만 참일 때 참이고, OR는 하나 이상 참일 때 참이다. 두 입력이 (1,1)(1,1)이면 OR는 1, XOR은 0이므로 두 연산은 다르다.

XOR을 표현하면 신경망의 학습도 성공한 것인가?

아니다. XOR을 표현하는 계수를 손으로 찾은 것과 자료에서 그 계수를 학습하는 것은 다른 작업이다. 네 입력을 모두 맞힌 이 구성은 표현 가능성을 확인하지만, 새 문제의 학습 성능까지 보장하지 않는다.

XOR과 다층 퍼셉트론의 흔한 오해

  • 직선 몇 개를 그려 보고 안 되면 불가능이 증명된다. — 식 (1)은 시험하지 않은 계수까지 포함한 부등식 모순이다. 그림은 그 결과를 이해하도록 돕는다.
  • 층을 추가하기만 하면 어떤 계수도 XOR이 된다. — 식 (3)의 편향을 −2-2에서 0으로 바꾸면 u,v≥0u,v\ge0이므로 출력은 모두 1이 된다. 구조뿐 아니라 계수도 중요하다.
  • 민스키와 페퍼트는 층을 쌓은 신경망도 XOR을 못 한다고 증명했다. — 그들이 분석한 것은 학습하는 가중치가 한 층뿐인 퍼셉트론이다. 그 앞단의 특징 검출기는 연결을 손으로 고정한다. 러멀하트 등은 1986년 장에서, 은닉 단위 층이 있으면 어떤 대응도 만들 수 있다는 점을 민스키와 페퍼트도 지적했다고 썼다.

직접 해보기

  1. 입력 (1,0)(1,0)을 식 (2)와 식 (3)에 넣어 세 가중합과 출력을 차례로 쓰라.
  2. 식 (3)의 편향을 −1-1로 바꾸면 네 입력의 최종 출력은 어떻게 되는가?
  3. 식 (2)는 그대로 두고 최종 출력을 h(−u−v+1)h(-u-v+1)로 바꾸라. 두 입력이 같을 때만 1인지 확인하라.
  4. 가중치 (1,1)(1,1)인 단일 퍼셉트론의 편향을 어떤 실수로 바꾸면 XOR을 만들 수 있는가? 불가능한 이유를 조건 두 개로 설명하라.
  5. 은닉층을 u=h(x1+x2−1)u=h(x_1+x_2-1)(OR)과 v=h(x1+x2−2)v=h(x_1+x_2-2)(AND)로 바꾸고 출력을 y^=h(u−v−1)\hat y=h(u-v-1)로 두라. 네 입력의 (u,v)(u,v)와 출력을 구해 XOR인지 확인하라.
답
  1. 첫 합은 1+0−1=01+0-1=0이라 u=1u=1, 둘째 합은 −1−0+1=0-1-0+1=0이라 v=1v=1이다. 마지막 합 1+1−2=01+1-2=0에서 출력은 1이다. 본문 표의 계산 절차를 재현하는 문항이다.
  2. 중간 출력은 (0,1),(1,1),(1,1),(1,0)(0,1),(1,1),(1,1),(1,0)이다. 합 u+v−1u+v-1은 0,1,1,00,1,1,0으로 모두 0 이상이어서 최종 출력은 전부 1이다.
  3. 합 −u−v+1-u-v+1은 0,−1,−1,00,-1,-1,0이다. 출력은 1,0,0,11,0,0,1로 두 원래 입력이 같은 경우만 1이다. 이를 XNOR라고 부른다.
  4. (1,0)(1,0)에서 1이려면 1+c≥01+c\ge0, 곧 c≥−1c\ge-1이다. (1,1)(1,1)에서 0이려면 2+c<02+c<0, 곧 c<−2c<-2다. 두 조건을 함께 만족하는 cc는 없다.
  5. (u,v)(u,v)는 차례로 (0,0),(1,0),(1,0),(1,1)(0,0),(1,0),(1,0),(1,1)이다. 합 u−v−1u-v-1은 −1,0,0,−1-1,0,0,-1이므로 출력은 0,1,1,00,1,1,0으로 XOR이다. AND의 가중치가 음수여서, 둘 다 1인 경우를 출력층에서 끈다.

더 읽기

  • 씨마스, 2022 인공지능 수학 전자책 — 인쇄 20–25쪽의 연표, 논리 연산과 진리표, 다층 퍼셉트론, 단층 퍼셉트론의 한계. 이 글은 같은 성취 목표를 OR·NAND 구성으로 확인하고, 교과서형 OR·AND 은닉층은 직접 해보기 5번에서 다룬다.
  • McCulloch와 Pitts, A Logical Calculus (1943) — Bulletin of Mathematical Biophysics 5, 115–133쪽. 논리 표현과 신경망 활동의 관계를 다룬 원논문. 역사 설명의 근거이며 본문의 계수와 예제는 별도 구성이다.
  • Rumelhart·Hinton·Williams, Learning Internal Representations by Error Propagation (1986) — 『Parallel Distributed Processing』 1권 8장, 318–320쪽. XOR을 은닉 단위 없는 망의 고전적 한계로 들고, 은닉 단위 하나와 직접 연결로 푸는 망을 보인다. 'XOR 문제는 신경망의 역사에서 무엇을 보여 주었나' 절과 은닉값 질문이 기댄다.
  • Wikipedia, Perceptrons (book) — 민스키·페퍼트 1969년 책의 홀짝 판정·연결성 결과와, 이 책의 영향에 대한 해석 논쟁을 정리한다.

영상 노트

영상 노트
  • 00:00 XOR 진리표와 대각선 네 점, 홀짝 판정
  • 00:40 식 (1)의 네 조건으로 불가능 논증, 선형 분리
  • 01:50 그림 2의 망 구조와 식 (2)·(3)의 모든 중간값 계산
  • 03:00 그림 3의 은닉 표현, 그림 4의 두 경계 사이 띠
  • 04:00 그림 5의 단층 학습 규칙 실패, 역사 표 1943·1958·1969·1986
  • 05:00 은닉값 하나로 되는 조건, OR·AND 은닉층 연습

지도에서의 위치

기계학습의 방식AI일차함수의 그래프기초수학퍼셉트론AIXOR과 다층 퍼셉트론지금 이 페이지전문가시스템의 규칙AI
선수 개념
이 페이지
다음 개념
완성예정이 페이지까지 온 길전체 지도에서 보기 →
이 페이지의 기록
  1. 2026-11-16 · 에이전트 초안
  2. 2026-11-17 · 전수 검수 반영 — 망 구조도와 두 경계 사이의 띠, 1943·1958·1969·1986 역사와 단층 학습 규칙의 실패, 은닉값 하나로 되는 조건, 교과서형 OR·AND 은닉층 연습 보강, 민스키·페퍼트가 분석한 퍼셉트론의 구조 서술 바로잡음 (에이전트 수정, 그림 2→5)
  3. 2026-11-17 · 전수 검수(에이전트 편집·독립 검증) 통과 — 주인 요청으로 완성으로 올림