AI 뇌파로 음악 재구성…생각을 음악으로

인공지능이 인간 두뇌 활동으로 곡을 작곡하는 미래는 그리 멀지 않을 수도 있다.

구글(Google)과 일본 오사카 대학 연구원들은 뇌 활동의 영역을 탐구하고 통제된 실험에서 관찰된 인간의 뇌파에서 직접 음악을 재구성했다.

인공 지능 음악 창작의 새로운 가능성을 제시한 관련 논문은 7월 20일 출판전 논문 서버 arXiv에 게재됐다.

연구자들은 기능적 MRI(fMRI) 판독을 사용하여 뇌 활동을 면밀히 모니터링하면서 록, 클래식, 메탈, 힙합, 팝, 재즈를 포함한 10가지 장르의 음악 샘플을 5명의 피험자에게 재생했다. 일반 MRI 판독과 달리 fMRI는 시간이 지남에 따라 대사 활동을 포착했다.

기록된 뇌 활동 데이터는 해당 뇌 패턴을 기반으로 장르, 분위기 및 악기와 같은 특정 음악 특성을 식별할 수 있는 정교한 심층 신경망을 훈련하는 데 사용됐다.

이 프로세스의 중간 단계에는 텍스트 설명을 기반으로 음악을 생성할 수 있는 Google 설계 모델인 MusicLM을 연구에 통합하는 작업이 포함됐다. fMRI와 유사한 이 모델은 도구, 리듬 및 감정과 같은 요소를 고려한다. 예를 들어, “명상적인 노래, 플루트와 기타가 있는 차분한 노래, 느리고 평화와 고요함을 만드는 데 중점을 둔 노래”와 같은 텍스트 입력을 사용하여 음악을 생성할 수 있다.

연구자들은 MusicLM 데이터베이스를 fMRI 판독값과 연결하여 Brain2Music이라는 이름의 AI 모델이 피험자가 듣는 음악을 재구성할 수 있도록 했다. 이 새로운 접근 방식에서 뇌 활동은 명시적인 텍스트 지침에 의존하는 대신 음악적 출력을 생성하는 컨텍스트 역할을 했다.

이 논문의 저자 중 한 명인 Google의 Timo Denk는 “우리의 평가는 재구성된 음악이 원래 음악 자극과 의미론적으로 유사함을 나타낸다”고 말했다.

생성된 음악은 장르, 악기 및 분위기 측면에서 인간 피험자가 경험한 음악적 자극과 놀라운 유사성을 보여주었다. 또한 연구원들은 음악의 텍스트 설명에서 파생된 정보를 반영하는 뇌 영역을 식별할 수 있었다.

연구팀은 피험자의 뇌파를 기반으로 Brain2Music이 해석한 매우 유사한 음악 발췌 부분을 제시했다. 그러나 Brain2Music은 원래 작곡에서 가사가 아닌 악기와 스타일을 복제하는 데 중점을 둔다.

이 연구는 생물학적 관점에서 음악 생성을 이해하는 데 상당한 진전이지만 Denk는 텍스트-음악 모델의 내부 프로세스가 아직 완전히 이해되지 않았다고 밝혔다.

인공지능이 아직 인간 두뇌 활동에서 완벽하게 곡을 작곡하는 단계는 아니다. 음악 생성 모델의 향후 발전은 재구성된 음악과 원래 자극 간의 시간적 정렬을 개선하는 것을 목표로 한다. 이는 향후 작곡가가 순전히 상상한 음악 작곡의 충실한 재생산으로 이어질 수 있다.

작곡가가 노래의 후렴구를 상상하기만 하면 청각 피질에 무선으로 연결된 프린터가 악보를 인쇄하는 미래를 상상할 수 있다. 청력 상실로 어려움을 겪었지만 음악에 대한 열정이 불탔던 베토벤이 Brain2Music을 활용할 수 있었다면 우리는 그의 더 많은 작품을 들을수 있었을지도 모른다.

또한 Brain2Go 유형의 모델은 곡 착상과정에서 음악적 비전을 빠르고 정확하게 구현하여 부족한 부분을 보완할 수 있다.

* Brain2Music: Reconstructing Music from Human Brain Activity