2001년 미국에서 출간, 2010년 국내에 번역된 ’퀀텀 브레인(The Quantum Brain)’을 뒤늦게 손에 잡았다.

인공지능, 양자역학, 신경과학 관련 주요 연구들을 논문 제목부터 연구자들의 삶까지 충실하게 소개하는 책으로 심층학습(Deep Learning) 모델의 배경을 살펴볼 수 있다. 출간후 20년 가까이된 책이지만 최근의 논의 흐름까지 선취, 포괄했다.

신경세포 미세소관, 단백질(튜불린)을 양자역학적 현상과 연계해 소개한 부분이 핵심에 해당한다. 인공지능 초창기 주요 논쟁을 소개하는 첫 장부터 마지막 장까지 저자는 인공지능, 양자물리학, 생물학, 인지과학 등 다분야 방대한 지식에 바탕한 꼼꼼한 논증, 탄탄한 구성력, 돋보이는 통찰력이 독서를 재촉했다.

특히 마르셀 프루스트의 ‘잃어버린 시간을 찾아서’에서 주인공이 마들렌 과자를 먹으며 과거 기억을 회상하는 부분을 신경과학과 연계해 설명하는 부분은 인상적이었다.

저자인 제프리 세티노버(Jeffrey Stinover)는 예일대 정신의학과 교수로 하버드대에서 심리학과 종교 분야 ‘월리엄 제임스 기금’ 강의를 맡은 석학이다.

인공지능 전문가 제럴드 서스먼이 풋내기였던 시절, 한번은 PDP-6를 끼고 앉아 한참 몰두하고 있던 그에게 민스키가 물었다.

“자네 뭐하고 있는가?”

“마구잡이로 엮은 신경망에 삼목놀이를 훈련시키고 있었습니다.”

“어째서 신경망을 마구잡이로 엮었는가?”

“놀이 방법에 대해 어떤 선입견도 없었으면 해서입니다.”

그러자 민스키는 눈을 감았다.

서스먼은 스승에게 “어째서 눈을 감으심니까?”물었다.

“이방이 텅 비었으면 해서 그러네.”

그 순간 서스먼은 개달음을 얻었다.

-해커 용어사전, 인공지능에 얽힌 몇가지 공안(公案).

책은 ‘양자가 낳은 위기’라는 문제제기로 시작한다. 그 위기란 결정론적이고 기계적인 고전물리학의 세계관과 배치되는 절대우연적인 양자 현상의 도전을 말한다. 먼저 저자는 인공지능 초창기인 1940년대 로젠블랫의 퍼셉트론의 등장과 마빈 민스키-로젠블랫의 논쟁을 소개한다.

1950년대 말부터 1960년대 초에 이르기까지 민스키와 로젠블랫이 여러 학회에서 벌인 논쟁은 20세기 과학계에서 벌어졌던 굵직한 다툼 가운데 하나로, 이론과 실제를 겸비한 눈부신 공학 지식과 더욱 눈부신 수학, 인간 됨됨이의 그 모든 결점이 고르게 작용한 결과였다.

논쟁의 구도는 뚜렷했다. 로젠블랫에 따르면, 생물학에서 영감을 얻은 계산 방법으로 해내지 못할 일이 거의 없었다. 반면 민스키에 따르면, 그런 식으로 해낼 수 있는 일이 거의 없었다.

로젠블랫 처럼 민스키도 젊은 시절에는 맥컬리-피츠 모델에서 다루는 생물학 기반 컴퓨터의 잠재력에 매료됐었다. 신경망은 자연에 존재하는 신경세포와 그것이 모여 이루는 망이 정보처리의 가장 훌륭한 모델이라는 전제에 바탕을 두고 있다. 분산 병렬 처리기반 장기간에 걸친 상향식 진화 시스템으로도 설명할 수 있다. 민스키는 (인간의 경우 수십억 년 진화과정이 필요했던) 신경망을 버리고 빈틈없는 논리적 단계를 통해 답을 도출하는 하향식 선형모델기반 인공지능을 설계했다. 논쟁은 민스키가 승리했다.

이후 버나드 위드로는 민스키와 페퍼트가 신경망 모델의 한계로 지적한 XOR ‘선형 분리가능성’ 문제를 새롭게 거론했다. 그는 관련 문제가 오래 전 다층 신경망을 통해 풀렸다고 말했다. 민스키는 병렬 계산 능력을 과소 평가했다는 것. 실제로 순차 컴퓨팅을 하향식 프로그래밍해서 할 수 있는 일이라면 병렬 컴퓨터도 상향식으로 학습할 수 있다는 설명이다. 로젠블랫이 믿었던 대로, 이전 폰 노이만이 생각했던 대로 말이다.

다층 신경망이 일반 컴퓨터를 대체하지 않은 이유는 효율성 때문이다. 학습이 끝나 명시적 규칙으로 표현할 수 있는 처리 과정이라면 그 일을 위해 신경망을 처음부터 훈련하는 것보다 전문적 지식을 직접 활용하는 편이 효율적이다. 일반 계산과 신경망 계산은 완벽한 상호 보완 관계다. 이후 1980년대 학습을 개선하는 오차 역전파 알고리즘이 등장, 뉴로모픽 컴퓨터 개발에 이정표 구실을 한다. 오류를 확인 개선하는 반복 학습을 통해 인간이 탐지 못하는 패턴까지 알아낸다. 신경망 모델은 테런스 세즈노프스키와 로젠버그의 자연어 처리에서 빛을 발한다.

저자는 인공지능 논쟁을 정리하고 이를 생물학과 물리학적 측면에서 신경과학을 접근하는데 활용한다.

어머니는 통통하게 덩어리진 자그마한 빵 쁘띠 매들린을 내오셧다. 나는 차에 매들을을 한 조각 적시고 입으로 가져갔다. 빵조각과 뒤섞인 따뜻한 액체가 내 입천장에 닿자마자 온몸에 전율이 흘렀고 나는 움직임을 멈췄다. 무엇일까. 기억에서 지워졌던 이 느낌은. 나는 내 안에서 무언가가 시작됨을 느낀다. 마치 배의 돛처럼 깊디깊은 곳에 파푿혀 있던 무언가가 가만히 자리 잡고 있던 무언가 깨어나 떠오르려 한다…

-마르셀 프루스트 ‘잃어버린 시간을 찾아서’

보편성을 띠면서도 강렬한 경험이라면 제대로 패인 골짜기(바탕기억)을 만들게 마련이고 그런 골짜기는 누구에게나 있는 법이다.

존 홉필드는 특정 유형의 신경망이 이른바 ‘스핀유리’라는 특정 유형의 자기계와 수학적으로 같음을 증명해보였다. 이러한 자기계를 흉내 낸 신경망은 이해하기가 간단했을 뿐만 아니라 코호넨 신경망처럼 지도를 이루고 다양한 기억을 담아냈으며, 외부 감독 없이도 돌아간다는 점에서 생물학적 사실성마저 띠었다. 즉 스핀 유리에서는 자기조직화가 일어난다. 스핀유리 자기조직화는 에너지 측면에서 가장 유리한 상태인 ‘끌어들이는 구덩이’로 공이 채워지는 과정에 작용한다.

스핀은 주위 스핀의 +-에 영향을 받아 상태를 정한다. “쩔쩔맴이 있는 스핀 시스템에서 구덩이 하나하나는 제각기 한 가지 기억에 대응한다.”

인간에게 자극이 주어진다. 그 자극이란 전체 그림의 작은 조각일 수 있고 아니면 전체나 일부의 뒤틀린 변형일 수도 있다. 이런 상황은 공이 에너지 분포 속의 특정 지점에 있는 경우와 같다. 그 지점은 대개 어떤 구덩이의 바닥에 가깝겠지만 꼭 그렇지만은 않다.

이제 바깥의 어떤 힘(스핀 또는 신경)이 망에 작용해 자극하면 그 입력은 망의 자발적 처리를 거쳐 모습이 바뀐다. 기억이 떠오르기 전까지 이처럼 미묘하고 팽팽한 순간을 거치지만, 일단 그에 얽힌 기억의 존재를 깨닫고 나면 이런 순간은 공이 어떤 구덩이를 향해 빙글빙글 소용돌이 치며 빨려들어가는 모습과 비교할 수 있다. 이때 하나같이 위태로운 상태의 스핀으로 이루어진 망은 스스로 모습이 바뀌면서 점점더 안정된 상태에 가가워진다. 마찬가지로 신경세포가 흥분 신호와 억제 신호를 이리저리 전달하며 안정된 모습을 찾아간다.

입력패턴은 결국 담겨 있는 패턴 가운데 하나로 바뀌어 기억이 딸깍 소리를 내면서 켜진다. 공은 에너지가 가장 낮은 지점으로 굴러들어가고, 최초의 자극은 과거의 무언가에 대한 소회로 바뀐다(“그리고 기억은 문득 스스로 모습을 드러낸다. 그 맛은 바로 자그마한 매들린 조각의 맛이었다”). 망이 내놓는 출력은 망 자체의 최종적 모습, 곧 망이 스스로 받아들인 비교적 안정된 새로운 모습이고, 또 자극에 E라 또 다른 모습으로 바뀌기 전까지 그 상태로 머무른다.

최초의 자극이 가령 완전한 기억 가운데 작은 조각이라면 망의 최종적 모습은 완전한 기억일테고 ㄸ라서 처음에는 떠오르지 않았던 많은 추가 요소가 그 뒤를 따라 이끌러 나오게 마련이다(“바로 그 거리에 있던 오래된 회색 집, 고모방이 있던 그 집이 무대처럼 떠올랐다. 그리고 그 집과 더불어 그 동네가, 동네 광장이, 우리가 걸었던 시골길이 떠올랐다”).

망에는 주소가 없으니 인간이 기억을 되살려내는 길잡이는 주소가 아니라‘유사성’이다. 즉 기억 속의 이미지는 하나같이 두죄 전체에 골고루 흩어져 있다. 지극히 간단한 망에서도 이 연상적용이 잘 드러난다. 심지어 네 번째 두뇌의 기본 구성 단위를 이루는 요소 셋, 곧 정규 미소회로도 기억 기능을 수행할 수 있다. 신경세포(스핀) 세 개를 엮은 망으로 표현한 정규 미소회로 구조는 기억 기능을 수행할 수 있는 가장 작은 단위다. 이런 기본 단위를 여럿 활용하면 더 크고 복잡한 망도 손쉽게 엮어진다.

연상 기억이 쓸모 있으려면 신경세포(스핀)이 셋보다는 뤌씬 더 많아야 한다. 그러면 동작 메커니즘과 에너지 분포는 금세 지나치게 복잡해지나 그래도 원리상 성능은 거의 떨어지지 않는다. 한편 신경세포가 단 세 개뿐이라면 망은 두 항목을 완벽하게 기억한다. 그러나 신경세포의 수가 늘어남에 따라 홈필드 망에서는 실수를 저지를 수 있는 능력이 생겨난다. 이를테면 골짜기 두 개가 엇갈리면서 추가로 생겨난 골짜기 라고 생각할 수 있다. 가공의 기억, 환각, 기억의 정확도가 떨어지는 문제가 발생한다.

생물의 몸속 망에서는 수많은 원자와 분자가 제자리에서 마구 잡이로 흔들리는 움직임, 곧 ‘열’이 진동하는 탁자가 된다. 신경망에서는 열로 인해 최저 에너지 상태를 찾아가는 ‘움직임’에 어느 정도 불확실성이 생겨난다. 구제적으로는 각 신경세포의 출력이 얼마간 마구잡이가 되게 하면, 즉 확률존적 성격을 띠도록 하면 그런 효과를 거둘 수 있다. 그런 신경세포를 가리켜 ‘확률적(stochastic)’이라는 말을 쓴다.

인간이 지닌 신경세포도 확률적이고, 덕분에 인간은 뒤틀린 기억을 더 잘 피해갈 수 있으며,대체로 더 정확하고 빠르게 기억을 떠울릴 수 있다. 자연이 자연 환경의 ‘혼돈상태’를 잘 살려 지능을 끌어올린 사례다. p115~119 中.

세포 배 발달 단계의 발달 과정이 일어나는 동안 무정형 세포자동자에서와 비슷한 과정이 두뇌 신경망 구조를 스스로 조직해내는 매체가 되며, 그렇게 생겨난 두뇌가 다시 더 고등한 경험 데이터를 스스로 조직한다. 배를 이루는 세포들끼리 연락을 주고 받을 수 있도록 해주는 매체 구실은 화학적 파동이 맡는다,

자기조직화과정에 개입하는 화학적 파동은 이동성이고 동심, 나선형으로 동기식 세포자동자에서 나타나는 모습과 같다. 변형 홉필드 신경망에서 파동은 진동이다. 동심-나선 파동은 3차원의 안정상태다. 진동이 망을 이루면 계산을 수행할 수 있는데, 그 까닭은 무척 효율적인 홉필드 망과 수학적으로 대등한 망을 이룰 수 있기 때문이다. 홉필드 망 변형이거나 세포자동자 또는 진동자로 이루어진 망이 계산을 수행하는 방법은 거의 상향식이다. “신경세포 하나하나는 마치 사회 속의 개인처럼 그 자체가 많은 개별 처리 요소로 이루어진 망일 여지가 크다”계산 능력과 자기조직화 능력은 공통이다.

1982년 홉필드의 발표를 계기로 컴퓨터 분야와 신경과학 분야갸 연구의 주도권을 쥔 이래 1998년까지 홉필드 망을 더욱 정교하게 다듬어 변종을 만들어내려는 경쟁이 벌어졌고, 생물학적 사실성을 추구하려는 노력도 이어졌다. 특정 유형의 진동자를 많이 마련해서 모두 한데 연결하되 연결은 약하면서도 성글게 하고 동시에 바깥에서 어떤 진동 입력을 주어 그 망을 구동하면 그 망이 촘촘한 홉필드 망이 동작과 능력을 고스란히 재현해 낸다는 점이 드러났다.

그런 구성을 수학적으로 모델링해 가능한 한 가장 큰 눙력을 발휘하도록 최적화하고 나면 그 결과로 나타나는 구조는 인간의 대뇌피짚에서 볼 수 있는 가변 미소회로 구조의 묶음과 정확히 일치하고, 네 번째 뇌에 닿아 있는 나머지 아래쪽 두뇌들로부터의 외부 영향까지도 그 구조의 일부를 이룬다.

이런 유형의 망은 그 밖에도 변화하는 데이터 스트림을 실시간으로 처리하는 능력가지 지녔다는 점이 드러났다. 실제로 진동자가 모여 이룬 망 덕분에 신경세포 등 세포 내부 구성요소가 어떻게 망의 소규모 닮은골 구실을 해내는지 더 깊이 이해할 수 있게 됐다. 이는 생명이란 어떤 규모에서 보든 본디부터 컴퓨터와 같다고 여길 수 있는 실마리가 된다. (P.135~136 中.)

맥컬럭과 피츠가 신경세포 학습을 다룬 논문을 발표했을 때부터 폰 노이만은 퍼센트론을 꾸준히 지지했다. 1932년 ‘양자역학의 수학적 기초’는 양자역학의 새로운 설명 구칙의 정형적 측면들을 분석, 오늘날까지도 해당분야 기반을 제공하고 있다.

폰 노이만식 반복 병렬계산으로 얻은 결과는 결코 완벽하지는 않지만 답의 정밀도는 필요한 만큼 끌어올릴 수 있었다. “짐작한 답의 오차를 측정하고, 조정한 답으로 다시 오차 측정 과정을 되풀이 한다”는 방법은 신경망의 바탕이고, 자연계에 존재하는 지능도 그런 면에서는 마찬가지다. 오늘날 컴퓨터는 모두 ‘폰 노이만 구조’를 기반으로 한다.

자연을 구성하는 분자 등 국소적 상호작용을 통해 전체 질서에 들어맞는 올바른 패턴이 드러난다. 국소적 상호작용을 하는 처리장치 한 개를 폰 노이만은 셀(cell)이라고 불렀다. 자연이 하는 대로 모든 셀이 병렬로 작용하면 유체역학 등 한해한 문제를 풀어낼 수 있다. 폰 노이만은 이처럼 상호 영향을 주고받는 동일한 셀이 다수 모여 이룬 대규모 병렬 처리장치를 ‘세포자동자(CA)’라고 불렀다.

그는 생물의 병렬 계산의 복잡도를 감당해낼 수 있는 시스템을 탐구하다가 세포자동자를 만들어냈다, 생명을 지닌 유기체에서는 그 생물이 이루는 셀이 근본적인 국소 처리 요소로서 전체적인 패턴과 전체적인 지능을 만들어 낸다는 점을 폰 노이만은 제시했다. (P137~144P 中.)

MIT 에드워드 프레드킨은 병렬 계산 능력이 물질이라는 옷감 자체에 함께 들어가 있다고 결론 지었다. 이는 곧 현실 자체가 방대한 세포자동자라는 뜻이고, 모든 수준에서 지능이 부산물로 나타날 수밖에 없었다는 뜻이기도 하다.

’퀀텀 브레인’ 신경과학과 기억‧AI‧양자역학②