“인간의 뇌에는 대략 천 억 개의 뉴런이 있고 각각의 뉴런은 수천개의 다른 뉴런들과 서로 연결돼 있어 시냅스 수는 천조(10^15)개에 이른다. 신체의 질량에서 뇌는 고작 3%만 차지하고 있음에도 불구하고 뇌의 구동에 필요한 전력은 대략 20와트 또는 몸 전체를 움직이는 데 필요한 힘의 20% 정도다. 이와 대조적으로 인간의 뇌 성능에 훨씬 못 미치는 페타급 슈퍼컴퓨터는 5메가와트 또는 25만 배나 많은 전력량을 소비한다. 자연은 분자 단위까지 신호를 전달하고 의사소통을 하기 위해 필요한 뉴런의 구성 요소들을 소형화하고 부피를 최소화할 수 있도록 뉴런들을 3차원적으로 연결함으로써 그와 같은 놀라운 효율성을 구현해냈다“

-딥러닝 레볼루션, 7장 알고리즘의 시대 中

신경과학과 머신러닝(machine learning) 분야의 대가 테런스 J. 세즈노스키(Terrence J. Sejnowski)는 신간 ‘딥러닝 레볼루션’에서 인공지능(AI)의 과거와 현재를 돌아보고 미래를 조망한다. 책의 부제는 ‘AI 시대, 무엇을 준비할 것인가’이다.

머신러닝의 부상을 소개한 첫 부분 ‘운전의 딥러닝’에서는 수조 달러에 달하는 교통, 운송 부문의 자율 주행 자동차 혁신을 소개한다.

미국 국방고등연구기획국(DARPA)은 2005년 자율주행 차량으로 132마일의 오프로드 사막코스를 달리는 그랜드 챌린지를 주최했다. 거대 IT기업이 밀집한 미국 샌프란시스코 등 주요 도시 일부 도로에는 사람 없는 자율 주행 자동차가 도시를 누비고 다닌 지도 수 년이 됐다. 그동안 구글 자율주행 프로젝트만 해도 563만 km를 주행했다. 우버와 테슬라의 자율주행 프로젝트 데이터도 막대한 수준이다. 이들 자율주행 머신의 주행 데이터는 모두 AI시스템 성능 개선을 위한 데이터 셋으로 저장되고 주행 안전을 고도화 한다.

GM 등 글로벌 자동차업체들과 인텔(Intel) 등 IT 업체들은 수십 수백 억 달러를 투자해 관련 분야 스타트업을 사들이고 있다.

시각 이미지 인식, 추론 등 좁은 영역에서 AI가 인간을 앞서기 시작, 급격한 혁신을 가능하게 한 핵심은 인간 두뇌 프로세스를 모사한 뉴로모픽 기반 AI알고리즘 심층학습(Deep Learning)이다. ‘딥러닝 혁명’은 전 경제 산업분야를 넘어 공공부문, 의료, 교육, 문화 등 인간 사회 전반에 급격히 확산하고 있다.

실제로 누구나 사용하는 구글 유튜브 검색 알고리즘은 빅데이터와 인공지능을 통해 사용자가 선호할 만한 정보, 음악이나 컨텐츠를 추천하고 적절한 광고까지 제시한다.

“알고리즘은 도처에 존재한다. 구글 검색을 이용할 때마다 우리는 알고리즘을 사용하고 있는 것이다. 사용자별 뉴스피드 클릭 기록에 기초해 알고리즘이 선택한 뉴스를 페이스북 뉴스피드를 통해 읽고 있다. 알고리즘이 우리의 생활 속으로 침투하는 현상은 음성인식을 가능하게 만들고 휴대전화에 자연어 기능을 부여하는 딥러닝 기술로 인해 점차 가속화되고 있다.”

-7장 알고리즘의 시대 中

저자는 인공지능 발전에 결정적 역할을 한 딥러닝의 아버지 중 한 사람이다. 세즈노스키는 AI 시대의 미래를 예측하기 위해 컴퓨터 성능의 혁신적 발달과 함께 딥러닝이 기존에 달성한 성과들을 제시한다. 빅데이터, 초연결, 자율주행 역시 딥러닝 없이는 불가능했을 성과다.

2부에서는 기술적 영향과 과학적 영향을, 3부는 다양한 기계학습 방법을 소개한다.

“현재의 인공지능 애플리케이션들은 30년 전 기초 연구의 결과를 바탕으로 하고 있다. 지금부터 30년 후의 인공지능 애플리케이션은 오늘날의 기초 연구에 달려 있다고 해도 과언이 아니다…미래의 인공지능을 생각할 때 우리는 장기적인 관점에서 바라볼 필요가 있다. 지금으로서는 인간 수준의 지능을 확보하는데 필요한 컴퓨터 역량에 도달하기엔 역부족이기에 그렇다. 현재의 딥러닝 네트워크는 수백만 개의 유닛과 수십 억 개의 가중치를 보유하고 있다. 1mm^3의 세포 내에 수십 억 개의 시냅스를 보유하는 인간의 대뇌피질에 있는 뉴런과 시냅스의 수에 비해 1만 배나 적다. 세상의 모든 감지기가 인터넷에 연결돼 딥러닝 네트워크에 의해 상호 연결된다면 어느 순간 그 네트워크가 스스로 각성해…” – 6장 머신러닝의 미래 中

세즈노스키는 미래 어느 시점에 특이점의 도래, 머신이 자의식 또는 초지능을 가질 가능성을 배제하지 않는다.

‘7장 알고리즘의 시대’에서는 데이터 처리, 훈련 비용을 개선하기 위한 뉴로모픽 AI칩을 설명한다.

“딥러닝은 고도로 연산 집약적이며 중앙 집중식 서버에서 연산을 수행하고 휴대전화기와 같은 단말 장치로 결과물을 전달하는 방식으로 운영된다. 결과적으로 단말 장치의 독립성이 관건이며 그것은 곧 근본적으로 다른 하드웨어를 의미한다…바로 인간의 뇌에서 영감을 얻어 고안된 뇌신경 모방 칩 일명 ‘뉴로모픽 칩’이 그것이다.”

이후 ‘의식’과 ‘자연은 인간보다 영리하다’, ‘심층지능’ 장에서는 그동안 대답하기는 어려웠던 어려운 의문들을 관련 연구결과를 토대로 소개한다. 지능의 진화, 인간의 기원, 생명의 논리 관련 실마리가 딥러닝 기술 등으로 언젠가는 해소될 수 있다는 믿음을 피력한다.

3부에서는 칵테일파티 문제, 홉필드 망과 볼츠만 머신, 오류의 역전파, 컨볼루션 러닝, 보상학습 등 다양한 학습 방법을 소개한다.

그는 미래에 딥러닝은 지금까지 이뤄낸 변화보다 앞으로 훨씬 큰 변화를 가져올 것이라고 말한다. 궁극적으로 그 시기와, 발전의 결과물을 유익, 해악은 인간에게 달렸다는 게 그의 대답이다.

*테런스 J. 세즈노스키 (Terrence J. Sejnowski)

미국 샌디에이고 캘리포니아대(UCSD) 솔크생물학연구소(Salk Institute for Biological Studies)의 프랜시스 크릭(Francis Crick) 석좌교수로 재직 중이다. 버락 오바마 행정부의 브레인 이니셔티브(BRAIN Initiative)에서 자문위원으로 활동, 현재 인공지능 분야 최고 학회 ‘NeurIPS’ 의장직을 수행하고 있다. 딥러닝 기술의 초석이 된 볼츠만 머신 알고리즘을 제프리 힌튼과 함께 개발한 것을 비롯해 뉴럴 네트워크의 학습 이론에 대한 다수의 논문을 발표했다.

*딥러닝(Deep Learning)

딥러닝은 수학과 컴퓨터공학, 신경과학에 뿌리를 두고 있는 머신러닝의 한 분야다. 딥러닝 네트워크는 아기들이 자신을 둘러싼 세상을 배워나가는 것과 같은 방식으로 데이터를 통해 학습한다. 생생한 눈으로 시작해 점차 새로운 환경을 탐색하는 데 필요한 기술을 습득해나가는 아기들처럼 말이다.

딥러닝의 기원은 인공지능을 창출하는 방법에 관한 두 가지 다른 시각이 경합을 벌이던 1950년대의 인공지능 태동 시점까지 거슬러 올라간다. 하나는 로직과 컴퓨터 프로그램에 기초한 시각으로 수십 년 동안 인공지능 세계를 지배했다. 다른 하나는 데이터로부터 직접 학습하는 방식에 기초한 시각으로 성숙 단계에 이르기까지 그보다 더 오랜 시간이 걸렸다.

오늘날의 기준으로 볼 때 컴퓨터가 보잘것없고 데이터 저장에 많은 비용이 들던 20세기에는 로직이 문제를 해결하는 효율적인 방법이었다. 숙련된 프로그래머들이 각각의 문제에 대해 서로 다른 프로그램을 작성했고, 문제가 클수록 프로그램도 커졌다. 하지만 컴퓨터의 역량이 커지고 빅데이터가 풍부해진 오늘날에는 학습 알고리즘을 사용해 문제를 해결하는 것이 더 빠르고 보다 정확하며 훨씬 효율적이다. 또한 동일한 학습 알고리즘이 서로 다른 문제를 해결하는 데 이용될 수 있다. 각각의 문제에 서로 다른 프로그램을 작성하는 것보다 훨씬 덜 노동 집약적인 솔루션이 나온다는 뜻이다. – 1장 머신러닝의 부상 中