언어 활동의 두뇌 신호를 인식해 인공지능(AI) 신경망으로 전달 할 수 있을까.

과학자들이 뇌 활동을 지능형 컴퓨터 생성 발화(speech)로 전환하는 데 상당한 진전을 이뤘다. 말하는 능력을 잃어버린 사람들의 삶의 질을 근본적으로 개선할 수 있는 연구는 과학전문매체 사이언스(Science)에 게재됐다.

미국 콜드스프링하버 연구소의 생물학 분야 출판 전 논문공개 사이트‘바이오아카이브(bioRxi)’에 몇 개의 개별 논문을 발표한 이 연구팀은 아직 순수하게 상상한 단어와 문장을 인공 신경망(artificial neural networks)을 사용해 발언으로 변환 할 수는 없다. 그럼에도 팀은 여러 연구 참가자가 들었거나, 큰소리 또는 조용히 말한 단어를 재구성하기 위한 초기단계 신경망을 성공적으로 구성했다.

이를 위해 팀은 뇌 신호를 녹음해 신경망에 입력한 다음 신호를 관련 소리 또는 입 움직임과 대조했다. 연구자들은 말하기, 듣기 또는 운동 기능과 관련된 뇌 영역에 직접 전극을 외과적으로 이식해 얻을 수있는 매우 정확한 데이터가 필요하다. 문제를 더욱 복잡하게 만드는 것은 각 사람마다 두뇌 영역에서 독특한 신경 활동을 보여 주므로 AI가 한 사람에게서 배우는 것이 다음 사람에게 번역되지 않는다는 것이다.

컬럼비아 대학 컴퓨터과학자 니마 메스가라니 (Nima Mesgarani)는 “우리는 서로 다른 시간대에 켜고 끄는 뉴런의 패턴을 연구하고 음성의 소리를 추측하려고 한다”며 “하나에서 다른 하나로 매핑하는 것은 그리 간단하지 않다”고 말했다.

연구를 위해 팀은 이미 침습성 수술을 받아 뇌종양을 제거하거나 간질 수술 전 치료를 받는 참가자들에게 의존했다. 연구팀은 참가자의 두뇌 청각 피질에서 얻은 데이터를 사용해 신경망에 데이터를 보냈다. 팀은 이 데이터를 이야기와 번호를 나열하는 사람들의 녹음을 듣는 동안 획득했다. 두뇌 데이터만 사용한 신경망은 75 % 정도의 숫자를 정확하게 식별 해 청취자 그룹에게 숫자를 말하게 할 수있었다.

캘리포니아대학(샌프란시스코) 신경외과의사 에드워드 장(Edward Chang)과 연구 팀이 문장을 소리내어 읽는 간질 환자의 두뇌 활동을 신경망에 입력했다. 별도의 그룹은 신경망 신호를 전달받아 문장을 재구성 했다. 이들 참가자 그룹은 어떤 문장을 재현하려고 시도했는지 문장 목록에서 선택했다. 선택은 80 % 정도 정확성을 보였다.

네덜란드의 마스트리히트대학(Maastricht University) 신경과학자 크리스찬 허프(Christian Herff)팀은 인터뷰에서 “참가자들이 조용히 말한 단어를 재현 할 수있는 신경망을 만들 수 있었다”고 말했다.

위에서 설명한 기술은 신경 네트워크가 뇌 활동 및 외부 음성 기능 (예 : 말 또는 입의 움직임)과 같이 비교적 정의된 두 데이터 세트 사이에서 패턴을 찾을 수 있기 때문에 효과가 있다. 그러나 누군가가 말을 상상만 할 때 그 외부 기능은 존재하지 않는다. 훈련을 위해 사용할 데이터가 없다면 신경망이 뇌 활동을 컴퓨터 생성 음성으로 변환 할 수 있는지 여부가 불분명하다.

허프 (Herff)는 “컴퓨터의 음성 해석을 실시간으로 들을 수 있다면 자신이 원하는 결과를 얻을 수 있도록 생각을 조정할 수 있다. 사용자와 신경망에 대한 충분한 교육을 통해 두뇌와 컴퓨터가 중간에 매개될 수 있다”고 밝혔다.

그것은 여전히 모험이지만, 관련 기술이 말하는 능력을 잃어버린 사람들에게는 희망이다. 이들은 작은 움직임, 기호나 단어를 선택하는 컴퓨터 모니터의 커서 등 언어활동 보조 기술에 의존한다. 뇌졸중이나 질병 후에 말하는 능력을 잃어버린 사람들은 눈을 사용하거나 다른 작은 움직임을 만들어 커서를 제어하거나 화면상의 문자를 선택할 수 있다. 지난해 작고한 영국의 천체물리학자 스티븐 호킹(Stephen Hawking)은 그의  안경에 장착 된 스위치를 작동시키기 위해 뺨을 긴장시켰다.

두뇌 – 컴퓨터 인터페이스가 그들의 말을 직접 재현 할 수 있다면 훨씬 소통이 쉬워질 수 있다.