“두뇌가 작동 할 수 있는 다른 방법은 없다고 생각합니다. 인간의 두뇌는 신경망입니다. 의식은 개인적으로 특별히 흥미를 가지고 있는 부분…꿈은 학습과정을 거꾸로 한 것일 수 있습니다.”-고프리 힌튼( Geoffrey Hinton) 토론토대 교수.

구글 브레인(Google Brain) 연구원으로 최근 튜링상(Turing Award)을 수상한 고프리 힌튼 토론토대 교수가 켈리포니아주 마운틴뷰(Mountain View)에서 열린 구글I / O 개발자회의에서 신경네트워크의 기원과 인공지능의 함의에 대해 논의했다.

생물학적 뉴런을 모델로 계산층을 활용하는 기계학습(Machine Learning), 심층학습(Deep Learning) 등 AI의 도전을 해결해결해온 힌튼은 ‘AI의 대부(Godfather of AI)’로 불린다. 기계학습(ML)에서의 공헌 외에도, 1986년 역전파(backpropagation) 알고리즘에 관한 논문을 포함해 200편 이상의 논문을 저술하거나 공동 저술했다.

힌튼은 심층 신경망(DNN) 또는 신호를 전송하고 연결 시냅스 강도(가중치)를 조정하는 상호 연결된 레이어에 이들 기능을 포함하는 AI 모델을 대중화했다. 이 방법으로 AI 알고리즘은 입력 데이터에서 특징을 추출하고 예측하는 법을 훈련한다. DNN은 변환장치인 트랜스포머(Transformers)에서 정제된다. 가중치를 동적으로 계산하는 주의메커니즘 덕분에 변환장치는 언어 변환 작업에서 최첨단 모델보다 우수한 성능을 발휘할 수 있으며 훈련을위한 계산이 덜 필요하다.

혁신의 속도는 놀라웠다. 과거 DNN에서 모델 데이터 특징 탐색기 계층을 추가하면 히든 레이어 훈련이 어려웠다. 계산이 충분히 빠르다면 레이블링이 안된 데이터로 비지도학습이 효과적이다. GPU 등장과 2007년 활용되면서 딥넷, 프리트레이닝을 통한 언어인식이 개선됐다. 2012년 GPU를 통해 음성인식, 컴퓨터 비전 등 다양한 알고리즘을 훈련할 수 있었다.

그럼에도 힌튼은 “우리는 2012년에 향후 5 년 동안 동일한 기술을 사용해 여러 언어를 번역 할 수 있을 것이라고 기대하지 않았다”고 말했다.

그는 지금도 AI 및 기계학습 접근법에는 한계가 있다고 본다. 그는 대부분의 컴퓨터 비전 모델에는 피드백 메커니즘이 없다는 점을 지적했다. 즉, 상위 수준의 표현에서 데이터를 재구성하려고 하지는 않는다. 대신, 그들은 가중치를 변화시켜 차별적으로 특징들을 학습하려 한다. 특징 탐지기의 각 레벨에서 하층 데이터를 재구성 할 수 있는지 확인하는 것과 같은 일을 하지 않는다는 것이다.

힌튼과 동료들은 최근 인간의 시각 피질에 대한 연구에서 영감을 얻었다. 인간 시각은 학습에 대한 재구성 접근법을 취한다. 컴퓨터 비전 시스템의 재구성 기술은 저항력을 증가 시킨다는 것을 확인했다.

힌튼은”신경 과학자들은 모두 시각 경로에 두 피질 영역이 있고 하나에서 다른 영역으로의 연결이 있다면 항상 역방향 경로가 존재할 것이라는 생각에 동의했다”고 말했다.

힌튼은 신경과학자들이 AI 연구원으로부터 많은 것을 배울 것이라고 생각한다. 사실, 그는 미래의 인공지능 시스템이 대부분 비지도 학습 유형의 다양성을 가질 것이라고 믿는다. 레이블링이 안됐거나, 학습이나 분류가 되지 않은 테스트 데이터로부터 지식을 수집하는 기계 학습의 한 부분인 비지도 학습은 공통점을 배우고 그 존재 또는 부재에 반응하는 능력면에서 거의 인간과 유사하다.

수십억 개의 매개변수가 있는 시스템을 사용하고 일부 목적 함수에서 확률적 경사하강법(scholastic gradient descent)를 수행하면 예상보다 훨씬 효과적이다. 규모가 커질수록 효과가 좋다.

그는 “그것은 두뇌가 어떤 목적 함수의 기울기를 계산하고, 그 기울기를 따라가는 시냅스의 능력을 업데이트하는 것을 훨씬 더 그럴듯하게 만든다. 우린 그라디언트를 얻는 방법과 목적 함수가 무엇인지 파악하기만 하면 된다”고 강조했다.

“왜 우리는 꿈을 기억하지 못하는가?”

“꿈은 비학습 과정과 은닉층 활성화 효과”

신경망은 꿈의 신비에 접근할 수 있는 방법도 제시한다. 힌튼은 볼츠만 머신(Boltzmann machines)에 관한 공동논문에서 제시한 이론에서 설명하는 “비학습(unlearning)”과 관련이 있을 것이라고 생각한다.

테리 세즈노스키, 프란시스 크릭 등을 인용, 투입이 없는 비학습 상태를 꿈의 특징으로 설명했다. 임의적인 불안정에서 안정된 상태로 이행하는 과정에서 뉴런은 활성화되지만 연결은 비활성화 되는 과정에서 환상이 생긴다는 것이다. 이는 대칭적으로 연결된 신경망과 뉴런이 ‘켜짐’또는 ‘꺼짐’에 대해 확률적 결정을 내리는 경우 은닉층이 ‘덜 놀랄만한 데이터’을 찾는 경향에서 비롯된다.

힌튼은 “꿈꾸는 과정은 전체 학습과정을 거꾸로 놓을 수 있다. 투입이 없는 상황에서 은닉층은 활성화 된다”고 말한다.

힌튼은 이러한 학습이 교육과 같은 전 분야를 변화시킬 수 있다고 생각한다. 예를 들어, 그는 인간 생화학을 고려한보다 개인화되고 목표가 설정된 과정을 예견했다.

그는 “뇌에서 어떤 일이 벌어지고 어떻게 배우고, 어떻게 하면 더 잘 배울 수 있는지 마침내 이해할 수 있다면 그에 맞게 환경을 적응시키지 못하는지를 매우 이상하게 여길 것” 이라고 말했다.

시간은 걸린다. 가까운 시점에는 사용자와 상호작용하고 일상 생활을 인도하는 지능형 조력자(Google Assistant 또는 Amazon Alexa)의 미래를 예상할 수 있다.

구글과 알파벳의 전 회장 에릭 슈미트(Eric Schmidt) 또한 앞으로 맞춤형 인공지능 어시스턴트가 우리의 행동에 대한 지식을 사용해 우리에게 정보를 제공 할 것이라고 말하기도 했다.

힌튼은 “몇 해 안에 우리가 얼마나 많이 배울지 알 수 없다. 그러나 보는 바와 같이, AI 어시스턴트는 지금 꽤 영리하다. 그리고 이 장치가 대화를 정말로 이해할 수 있으면, AI는 아이들과 대화하고 교육도 할 수 있다”고 말했다.