과학자들이 인간의 뇌 기억 메커니즘인 생성적 재생(generative replay) 기능에서 영감을 얻어 효율적으로 심층 신경망을 개선하는 방법을 제안했다.

미국 텍사스 휴스턴대학의 베일러 의대(Baylor College of Medicine) 제 1저자이자 박사후 연구원인 기도 반데벤(Gido van de Ven)와 수석 연구원 안드레아스 톨리아스(Andreas Tolias)는 매사추세츠대학 애머스트(University of Massachusetts, UMass Amherst)의 하바 시겔만(Hava Siegelmann)과 함께 ‘추상적 생성적 뇌 재생(abstract generative brain replay)’에 대한 연구 결과를 네이처 커뮤니케이션즈(Nature Communications)에 발표했다.

새로운 훈련을 익히면 심층 신경망(deep neural networks)은 이전에 배운 것을 잊어 버리는 현상(catastrophic forgetting)이 발생한다. 인공 지능(AI) 전문가들은 심층 신경망이 최근 AI 발전을 이끌었지만 이처럼 훈련된 것을 잊음으로 인해 발전이 지연된다고 말한다.

시겔만은 “하나의 해결책은 이전에 접한 예를 저장하고 새로운 것을 배울 때 다시 찾는 것”이라며 “이러한 ‘재생’또는 ‘리허설(rehearsal)’이 치명적인 망각을 해결하지만 이전에 배운 모든 작업에 대한 지속적인 재교육은 매우 비효율적이며 저장해야 할 데이터의 양이 빠르게 관리할 수 없게 된다”고 말했다.

a 기억에 대한 전통적인 견해와 유사하게, 경험을 단순히 저장할 수있는 기억 버퍼로 해마를 보는 정확한 또는 경험 재생. b 해마를 생성 신경망으로보고 재생을 생성 과정으로 보는 별도의 생성 모델을 사용한 생성 재생. credit:Andreas Tolias Lab.

AI 신경망과 달리 인간은 이전 학습을 기반으로 평생 동안 정보를 지속적으로 축적할 수 있다. 기억을 망각으로부터 보호하는 것으로 여겨지는 뇌의 중요한 메커니즘은 이러한 기억을 나타내는 신경 활동 패턴의 재생이라고 그들은 설명한다.

시겔만은 “뇌에서는 리플레이 데이터를 저장하지 않는다는 것을 인식하는 것이다. 오히려 뇌는 세부적인 기억을 생성할 필요없이 더 높고 추상적인 수준에서 기억의 표현을 생성한다”이라고 말한다.

이에 연구팀은 데이터가 저장되지 않는 인공 두뇌와 같은 리플레이를 만들었다. 대신 뇌와 마찬가지로 네트워크는 이전에 본 것의 높은 수준의 표현을 생성한다.

네트워크 자체의 컨텍스트에 따라 변조된 피드백 연결에 의해 생성되는 추상적 고 표현이 재생되는 뇌 생성적 재생에서 영감을 받은 버전을 제안한다. credit:Andreas Tolias Lab.

톨리아스는 “간단한 방법은 저장된 데이터를 재생하는 것이지만 이는 생물학적으로 있을 수 없고 실제로 항상 가능한 것은 아니다. 대안은 재생할 데이터를 생성하는 것이지만 이는 실제 문제, 예를 들면 자연 이미지 입력 등에 대해 어려운 것으로 입증됐다”고 설명했다.

‘추상적 생성적 뇌 재생’은 매우 효율적임이 입증됐다. 팀은 생성된 표현을 몇 개만 재생하는 것만으로도 오래된 기억을 기억하고 새로운 것을 배우는 데 충분함을 보여주었다. 생성적 재생은 치명적인 망각을 방지하고 시스템 학습을 위한 새롭고 간소화된 경로를 제공할 뿐만 아니라 시스템이 한 상황에서 다른 상황으로 학습을 일반화 할 수 있도록 한다.

반데벤은 “생성 재생을 사용하는 네트워크가 먼저 고양이와 개를 분리 한 다음 곰을 여우와 분리하는 방법을 배우면 특별히 훈련을받지 않고 고양이와 여우를 구분한다. 특히 시스템이 더 많이 학습할수록 새로운 과제를 배우는 것이 더 좋아진다”고 말한다.

이어 그는 “우리는 네트워크 자체의 상황에 따라 변조된 피드백 연결에 의해 생성되는 내부 또는 숨겨진 표현이 재생되는 새롭고 두뇌에서 영감을받은 재생 변형을 제안한다. 우리의 방법은 최첨단 성능을 달성한다. 데이터를 저장하지 않고 도전적인 연속 학습 벤치 마크에 대해 알아보고 뇌에서 추상적 수준의 재생을 위한 새로운 모델을 제공한다”고 말했다.

깃허브(github) 공개된 코드로 검증이 가능한 이 방법은 재생이 뇌의 기억 통합에 기여할 수있는 방식에 대해 몇 가지 흥미로운 예측을 한다. 연구팀은 이미 이러한 예측 중 일부를 테스트하기위한 실험을 실행 중이다.

*Gido M. van de Ven et al, Brain-inspired replay for continual learning with artificial neural networks, Nature Communications (2020). DOI: 10.1038/s41467-020-17866-2