메모리 증강 인공 신경망 기반 아키텍처

독일 다름슈타트 공대(Technische Universität Darmstadt, TUD) 연구원들은 최근 문제 해결을위한 추상적 전략을 학습할 수 있는 새로운 메모리 증강 인공신경망(artificial neural networks, ANNs) 기반 아키텍처를 도입했다.

‘Nature Machine Intelligence’에 발표 된 논문에서 이 아키텍처는 알고리즘에 의해 처리되는 정보의 흐름을 두 개의 별개의 ‘스트림’으로 분할하여 알고리즘 계산과 데이터 종속 조작을 분리한다.

연구진은 “외부 메모리로 신경망을 확장하면 이러한 전략을 학습 할 수있는 능력이 증가했지만 여전히 데이터 변형에 취약하고 확장 가능하고 이전 가능한 솔루션을 배우는 데 어려움을 겪고 있으며 방대한 훈련 데이터가 필요하다. 우리는 정보 흐름과 분리된 모듈을 분할하여 실현 된 데이터 조작에서 알고리즘 연산을 분리, 추상화를 사용하는 메모리 증강 네트워크 기반 아키텍처인 NHC를 제시한다”고 밝혔다.

NHC(neural Harvard computer)는 알고리즘에 공급되는 정보의 흐름을 데이터 스트림(데이터 별 조작 포함)과 제어 스트림(알고리즘 연산 포함)의 두 가지 스트림으로 나눈다. 이를 통해 궁극적으로 데이터와 관련된 모듈과 알고리즘 모듈을 구별하여 두 개의 분리되고 결합된 메모리를 생성할 수 있다.

NHC에는 컨트롤러, 메모리 및 버스라고하는 세 가지 주요 알고리즘 모듈이 있다. 이 세 가지 구성 요소는 고유한 기능을 가지고 있지만 서로 상호 작용하여 향후 작업에 적용할 수있는 추상화 메커니즘을 구성한다.

연구자들은 논문에서 “이 추상화 메커니즘과 진화 훈련은 강력하고 확장 가능한 알고리즘 솔루션의 학습을 가능하게한다”라고 설명했다.

TUD 팀은 NHC를 사용하여 11 개의 서로 다른 알고리즘을 훈련하고 실행함으로써 NHC를 평가했다. 그런 다음 일반화 및 추상화 기능과 함께 이러한 알고리즘의 성능을 테스트했다. 연구원들은 NHC가 11 개의 알고리즘을 모두 안정적으로 실행할 수 있으며 원래 완료하도록 훈련된 것보다 더 복잡한 작업을 잘 수행할 수 있다는 것을 발견했다.

논문에 따르면 다양한 복잡성을 가진 11 가지 알고리즘의 다양한 세트에서 NHC가 강력한 일반화 및 추상화를 통해 알고리즘 솔루션을 안정적으로 학습하고, 훈련 중에 볼 수있는 것 이상으로 임의의 작업 구성 및 복잡성에 대한 완벽한 일반화 및 확장을 달성하고 데이터와 무관 함을 보여준다.

이 연구팀이 수행한 최근 연구는 다양한 복잡성의 작업에서 신경망 기반 아키텍처의 성능과 일반화 가능성을 높이기 위해 외부 메모리 구성 요소 활용법을 제시했다. 미래에는 NHC 아키텍처를 사용하여 다양한 ANN의 기능을 결합하고 개선하여 새로운 데이터를 기반으로 정확한 예측을 내릴 수있는 유용한 전략을 식별 할 수있는 모델 개발을 지원할 수 있다.

*Evolutionary training and abstraction yields algorithmic generalization of neural computers. Nature Machine Intelligence(2020). DOI: 10.1038/s42256-020-00255-1