인공지능(AI)는 인간의 두뇌 작동 원리를 부분적으로 모사했지만 실제로는 생물학적 두뇌에 비해 효율이 매우 떨어진다.

과학자들은 생물학적 뇌가 지닌 독보적 효율성에 접근하는 데 도움이 되는 새로운 인공신경망 접근법을 제안했다.

AI 핵심 알고리즘의 하나인 심층 학습(deep learning)은 인공 뉴런 컴퓨팅 장치의 대규모 네트워크간 연결 강도 정보를 인코딩한다. 생물학적 두뇌의 뉴런과 차이점은 이들이 상호 통신하는 방식이다.

인공 신경망은 다층으로 구성, 각 뉴런은 일반적으로 다음 층의 모든 뉴런에 연결된다. 뉴런 쌍 사이의 연결 강도를 결정하는 범위에 따라 고도로 동기화 된 방식으로 레이어 간에 전달된다.

반면에 생물학적 뉴런은 스파이크(spikes)라고 알려진 전기 신호을 발생시켜 각 뉴런 간 자체적으로 통신한다. 스파이크 기반 접근 방식은 훨씬 더 에너지 효율적이다.두뇌가 단지 20와트만 사용하는 반면 AI 인공신경망을 훈련하려면 킬로와트의 전기가 필요하다.

스파이킹 신경망(Spiking Neural Networks, SNN)은 뉴런과 뉴런 사이의 상호작용을 뜻하는 스파이크가 가지는 시간적인 개념을 적용함으로써 생물체의 신경계를 모방한다.

SNN를 통한 컴퓨터 칩 등 하드웨어 개발에 대한 관심이 크지만 시넵스 가소성과 스파이킹 기반 복잡한 네트워크에 대한 이해는 여전히 낮은 상태다.

오스트리아 그라츠 공대(Graz University of Technology)의 연구원들은 SNN 생물학적 학습방법을 심층 강화학습에 활용하는 방법을 제안했다.

심층학습에서 네트워크는 데이터를 예측하고 평가, 시간에 따른 역전파BPTT(backpropagation through time) 과정 반복으로 정확한 예측이 이루어질 때까지 네트워크를 조정한다.

뉴로모픽 신경망이 뉴런 스파이킹 네트워크를 통합하려면 많은 양의 메모리가 필요하다. 또한 두뇌에서 뉴런 사이의 시냅스를 가로질러 오류 신호를 역방향으로 보내는 것은 시간과 공간 측면에서 불가능하다.

이에 휴먼 브레인 프로젝트(Human Brain Project) 소속 연구자들은 신경과학 실험 데이터에서 분명하게 밝혀진 두 가지 특징에 초점을 뒀다. 각 뉴런은 시간이 지남에 따라 천천히 사라지는 분자 마커의 형태로 이전 활동에 대한 기억을 유지한다. 뇌는 뉴런 그룹의 행동을 조절하는 신경 전달물질인 도파민(dopamine) 등을 사용해 하향식 학습 신호를 제공한다.

네이처 커뮤니케이션즈(Nature Communications) 논문*에서 오스트리아 팀은 ‘이-프롭(e-prop)‘이라는 새로운 학습 패러다임에서 이 두 가지 기능을 구현해 BPTT 성능에 접근했다.

메모리 데이터를 지속적으로 전송해 대량 데이터를 한 번에 처리해 기계학습(machine learning) 에너지 비용을 크게 소모하는 대신, 이 방법은 필요한 데이터가 제공되면 즉시 학습한다. 필요한 메모리와 에너지를 획기적으로 줄이므로 소형 모바일 디바이스 온칩 훈련에 사용하는 것이 훨씬 실용적이다.

연구팀은 현재 인텔 연구원들과 협력해 스파이크 네트워크에 최적화된 차세대 버전의 신경칩 ‘Loihi’에서 이 접근 방식을 통합하고 있다. 또한 맨체스터대학교(University of Manchester)의 휴먼 브레인 프로젝트 연구원들과 공동으로 뉴로모픽 슈퍼컴퓨터 ‘SpiNNaker’에 신경칩을 적용하고 있다.

*A solution to the learning dilemma for recurrent networks of spiking neurons