Neural Network로 XOR 문제 풀기

Machine Learning의 침체기

Machine learning의 침체기는 이 XOR 문제로부터 시작됐습니다. And와 Or 문제는 쉽게 문제가 풀리지만 XOR은 쉽게 풀리지 않았죠.어떻게 선을 긋더라도 +와 -를 구분하지 못한다!

하지만 Neural network의 등장으로 XOR문제를 풀 수 있게 됩니다. Deep learning(Neural network)와 Machine learning의 차이점을 적은 글에서 언급했지만 Input을 알맞게 변화시키면서 학습하면 XOR문제를 풀 수 있습니다.

XOR 문제의 Perceptron

Machine learning과 Neural network의 차이는 node 개수의 차이에 있습니다. node는 Neural network에서 Perceptron으로 불리죠. XOR을 푸는 동안 이 Perceptron들은 어떤 계산을 거쳐 XOR문제의 정답을 맞추는지 확인해보겠습니다.

파란색 hidden layer에 계산된 0과 1은 실제 사용되는 값이 아닌 "알아보기 쉽게" 근사치로 적어놓은 것. 실제로는 hidden layer를 거쳐 0~1의 숫자로 변환되고(representation으로 변환) 최종계산에서 0 or 1로 변환된다.

이렇게 Input값이 representation 값으로 변환되면서 XOR문제를 풀 수 있게 됐습니다. 정말 놀랍습니다. 알고보면 간단한 문제인데, 이 문제 때문에 인공지능 기술이 10년은 머물렀으니 말이죠.

Hidden Layer 만들기

Hidden layer가 탄생하기 위해서는 각각의 node (각각의 Perceptron)에 해당하는 Weight와 bias가 있어야 합니다. 이 계산이 수월하게 되려면 하나의 행렬(matrix)로 정리하는게 좋습니다.

행렬의 내적과정을 거쳐가면서 Input이 바뀐다

이렇게 Machine learning으로 풀 수 없는 수많은 문제들을 Neural network에서는 가능하다는 걸 알아봤습니다.