인공 지능(AI)의 역사에는 크게 두가지 지능형 시스템 구축 경로가 있다. 상징적 인공지능(Symbolic AI)과 비상징적 인공지능(Non-symbolic AI)의 두 진영이다.

상징주의자들은 상징 조작(symbol-manipulation)을 통해 규칙과 지식에 기반한 지능형 시스템을 개발하고 행동을 해석 할 수 있다고 생각했다. 비상징적 접근은 인간의 뇌에서 영감을 받은 전산 시스템을 구축하기 위해 노력해왔다.

1976년 뉴엘과 사이먼(Newell & Simon)이 소개한 전통적인 상징적 접근 방식은 인공지능을 상징 조작을 사용하는 모델의 개발이라고 설명한다. AI 응용 프로그램에서 컴퓨터는 숫자나 문자가 아닌 상징(기호)를 처리한다. 심볼릭 접근법에서 AI 애플리케이션은 실제 엔티티 또는 개념을 나타내는 문자열을 처리한다. 기호는 목록, 계층 구조 또는 네트워크와 같은 구조로 배열 될 수 있으며 이러한 구조는 기호가 서로 관련되는 방법을 보여준다. 인공지능 초기 역사는 상징주의자들과 상징적 접근에 전적으로 촛점을 맞추고 있다.

미국 미주리대(University of Missouri-Columbia) 연구 논문은 이러한 모델에서의 계산이 상징을 특정한 방법으로 결합하고 정보를 모으는 명시적 표현(representation)을 기반으로한다고 말했다. 이 접근법에서 물리적 상징 시스템은 물리적 패턴인 상징체 집합으로 구성된다. 검색과 표현은 상징적 인공지능의 개발에서 핵심적인 역할을 수행했다.

전통적 인공지능이라고도하는 이러한 접근법은 인지과학 분야에서 많은 연구를 창출했고 인지에 대한 이해를 진전시켜왔다.

상징 조작(symbol-manipulation)

상징 조작은 컴퓨터 과학의 초창기, 그 보다 이른 형식 논리 개발시기에 기원을 둔다. 상징(기호)는 생각을 나타낼 수있다. 상징을 조작하면 그 상징이 나타내는 추측에 대해 올바른 추론을 할 수 있다. P가 Q를 의미한다는 것을 안다면 Q가 아닌 것에서 P가 아닌 것을 추론 할 수 있다.

뉴욕대(NYU) 심리학·뇌과학 교수 게리 마커스(Gary Marcus)는 저서(The Algebraic Mind)에서 뉴엘과 사이먼, 스티븐 핑커(Steven Pinker)를 인용한다. 인간 마음은(다른 도구들과 함께) 구조화 된 기호 집합을 표현하기위한 계층(hierachical) 트리 메커니즘 유형을 포함한다는 주장이다.

인지의 핵심 요소가 변수를 통해 표현되는 추상 관계를 학습하는 능력이라는 것이다.

마커스는 “이는 대수학(algebra)과 유사한데, ‘x = y + 2’와 같은 방정식을 배울 때 주어진 x에 대해 풀 수 있다. y를 특정 값에 연결하는 프로세스를 바인딩이라고한다. 그 값을 다른 요소와 결합하는 프로세스를 작업이라고 부른다. 추상화를 표현, 특정 값으로 변수를 인스턴스화하고, 그 변수에 연산을 적용하는 것과 같은 상징적 프로세스가 인간의 마음에 필수 불가결하다” 고 설명한다. 인스턴스는 객체 지향 프로그래밍에서 클래스에 속하는 각 객체를 의미한다.

신경망(neural networks) 옹호자들은 종종 이것을 무시해 왔다. 신경망 모델은 변수에 대해 작동하는 상징 기계에 형식적으로 매핑되는 ‘구현적 연결주의(implementational connectionism)’와 그러한 요소가 없는 ‘제거적 연결주의(eliminative connectionism)’라는 두 메커니즘으로 나뉜다. 다양한 사실(주로 인간 언어에 관한)을 포착하는데 성공한 것들은 매핑 된 것이고 그렇지 못한 것은 실패한 경우다. 규칙은 보편적 자유 일반화를 허용하는 반면 보편적 관계의 근사화를 위해 다층 퍼셉트론(multilayer perceptrons)은 큰 샘플을 요구한다.

다층 퍼셉트론의 구조

다층 퍼셉트론은 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로 계층구조를 갖는다. 입력층과 출력층 사이의 중간층을 은닉층 (hidden layer) 이라 부른다. 네트워크는 입력층, 은닉층, 출력층 방향으로 연결돼 있다. 각 층내의 연결과 출력층에서 입력층으로의 직접적인 연결은 존재하지 않는 전방향 (Feedforward) 네트워크이다. 벤지오(Bengio)의 언어에 관한 최근의 연구에서 쟁점이되는 이슈다.

문제는 아직 두뇌가 변수 또는 변수의 값을 인스턴스의 값에 바인딩하는 방법을 알고 있지 못하다는 점이다. 마커스는 그의 저서에서 인간의 두뇌는 가능하다는 증거를 제시했다. 거의 모든 사람이 적어도 일부 사람들은 수학과 공식 논리에서 이것이 가능하다는데 동의 한다. 대부분의 언어학은 언어를 이해하는 데도 이 기능을 수행 한다고 동의한다. 하지만 실제 문제는 인간의 두뇌가 기호 조작을 할 수 있는지 여부가 아니라 사용하는 프로세스의 범위가 얼마나 넓은가하는 점이다.

마커스는 “저서의 두 번째 목표가 원칙적으로 뉴런을 요소로 상징 조작의 기본 요소를 작성할 수 있음을 보여주는 것이었다”며 “(뇌파)일시 진동(temporal oscillation)을 통한 다이나믹 바인딩(dynamic binding) 등 오래된 아이디어를 검토하고, 아스키(ASCII) 코드*와 같은 코드를 가진 노드와 유사한 유닛 뱅크를 갖는 슬롯 앤 필러(slots-and-fillers) 접근 방식을 지지했다”고 말했다.

메모리 네트워크와 ‘차별화된 프로그래밍(differentiable programming)’은 임베딩 코드로 이와 비슷한 방식으로 수행됐다. 유사한 원칙에 따라 후자는 복사 및 정렬과 같은 기본 마이크로 프로세서 작업의 계속 확대되는 배열을 수용한다.

‘차별화된 프로그래밍’은 얀 르쿤(Yann LeCun)에 의한 딥러닝(deep learning)의 새로운 브랜딩이다. 그의 추론은 모든 현대의 성공적인 기계학습 기술 사이의 공통성이 신경망에서 숨겨진 계층이 아니라 오히려 확률적 경사 하강법(Stochastic Gradient Descent)의 일부 형태를 통한 훈련이라는 것이다. 심층 신경망은 표준 오류역전파(Backpropagation) 알고리즘으로 학습될 수 있다. 이때, 가중치(weight)들은 SGD로 갱신될 수 있다.

마커스는 이 접근법이 추론이나 확률론적이지만 추상적 상식을 기계학습으로 해석할 수있는 충분히 견고한 데이터베이스를 가졌다면 언어, 상징 등을 위해 더 잘 작동 할 것이라고 말한다.

인간이 뇌에 대해 무엇을 생각하든 가상의 모든 소프트웨어 세계는 상징으로 만들어진다. 예를 들어, 컴퓨터 코드의 모든 행은 실제로 변수에 대한 일련의 연산에 대한 설명이다. X가 Y보다 큰 경우 P를 수행하고 그렇지 않으면 Q를 수행한거나, A와 B를 연결해 새로운 것을 형성하거나 하는 경우다. 신경망은 구조에 따라, 그리고 변수가 연산에 정확하게 매핑되는지 여부에 따라 진정 다른 패러다임을 제공 할 수 있으며 음성 인식과 같은 작업에서는 분명 유용하다. 하지만 입력(사용자 키스트로크의 로그) 및 출력(화면의 이미지 또는 다운로드하는 패킷)에 대한 감독 학습을 통해 브라우저를 만드는 사람은 아무도 없다.

마커스는 “르쿤(LeCun) 페이스북 인공지능이 대부분 신경망에 의해 수행되지만 페이스북의 전체 프레임 워크가 상징 조작에 의존하지 않고 실행되는 것은 아니다”라며 “비록 상징이 더 이상 음성인식에만 기반하지 않고 분명히 그 자체로는 풀스택(full-stack) 인지와 인식을 수행 할 수는 없지만 이것이 도움이 될 것이다. 상징 조작 기반 고전 인공지능이나 딥러닝 세계에서, 아직 추상적 추론과 언어와 같은 문제들에 대한 해답을 가지고있지 않다. 이부분은 결국 형식 논리와 상징적 추론의 도구들이 고안되는 모든 영역이다. 이 상식적인 추론이라는 것은 진지하게 이해하려고 노력하는 사람이면 누구에게나 분명해 보인다”고 말한다.

과학적 관점에서 볼 때 핵심은 궁극적 인공지능 시스템이 무엇인가 보다 그것을 구현하는 것이 중요하다.

마커스는 “범용 인공지능(general intelligence)을 위한 시스템의 일부는 상징 조작(symbol-manipulation)의 기본 요소에 완벽하게 매핑될 것이며 다른 부분은 그렇지 않을 것”이라며 “상징, 비상징 양쪽이 필요하지만 현 상황은 주류가 된 기계학습 분야(machine learning)에서 상징 표현이나 변수를 통한 연산을 그들의 모델에 받아들이려 하지 않는다. 대부분의 연구자의 툴킷에는 상징 표현과 작용(operations)이 포함돼 있지 않다”고 지적한다.

그러나 그러한 툴을 이용한 발전은 어느 정도 예측 가능하다. 지각 입력에 대한 라벨 모음을 익히는 데 필요한 훈련시간은 계속해서 좋아지고 분류 작업의 정확도는 향상된다. 추론과 언어 이해와 같은 영역에서 벤지오와 함게 마커스가 주의를 환기하는 영역이다.

마커스는 “상징은 원칙적으로 위키피디아(Wikipedia)에서 교재에 이르기까지 모든 세계의 텍스트 지식을 통합하는 방법을 제공한다. 딥러닝에는 ‘개가 코를 가지고있다’와 같은 기본적인 사실을 통합하는 확실한 방법이 없으며 그 지식을 더 복잡한 추론으로 축적하지도 않는다. 우리의 꿈이 위키피디아를 읽음으로써 배울 수있는 기계를 만드는 것이라면, 여기에 포함된 지식과 양립성있는 것으로 시작하는 것이 중요하다”고 지적한다.

법용 인공지능(AGI)과 딥러닝에 관해 얀 르쿤과의 오랜 트위터 논쟁에서 자신이 제기하는 핵심 질문으로 마커스는 ‘심층신경망(DNN)이 범용 인공지능에 해법이 될수 있는가, 지각 분류 등 에만 적용되고 있는것은 아닌가, 그 중간에 뭔가, 그 밖의 무엇이 필요하지 않은가’를 묻는다.

*관련기사

[AGI①]넥스트 딥러닝 패러다임, 얀 르쿤 vs. 게리 마커스 

*아스키 코드는 미국 ANSI에서 표준화한 정보교환용 7비트 부호체계이다. 000(0x00)부터 127(0x7F)까지 총 128개의 부호가 사용된다. 특수문자, 숫자, 문자에 번호를 부여하여 컴퓨터에서 처리하기 쉽게 만든 것으로 아스키코드는 미국표준협회(ANSI)에서 지정한 표준 부호다. 간편한 시스템이지만 2바이트 이상의 코드를 표현할 수 없기 때문에 국제표준의 위상은 유니코드에게 넘어갔다.

*참고: ‘The deepest problem with deep learning’ -Gary Marcus