AI

인공지능(AI)은 언어, 예술, 체스와 바둑, 게임, 운전 하는 법을 배웠다.  이제 AI는 퍼즐 이미지 같은 추상적 추론 코드도 해독할 수 있을까?  미국 남부캘리포니아대학(USC Viterbi) ISI(School of Engineering Information Sciences Institute) 연구원들은 AI 인지 능력을 테스트하고 다중 모달 대규모 언어 모델(MLLM)을 사용해 한때 인간의 IQ 테스트에만 국한되었던 시각적 문제를 해결하고 있다.  USC Viterbi ISI 연구 조교 Kian Ahrabian과 Zhivar Sourati는 최근 MLLM이 시각적 인식과 논리적 추론을 모두 필요로 하는 비언어적 추상 추론을 수행할 수 있는지 조사했다. 2024년 10월 7~9일 펜실베이니아주 필라델피아에서 열린 Conference on Language Modeling(COLM 2024)에서 발표한 연구는 출판전 논문사이트(arXiv)에서도 볼 수 있다. USC Viterbi 공대 컴퓨터 과학 연구 조교수이자 이 논문 저자인 Jay Pujara는 “우리는 여전히 새로운 AI 모델이 무엇을 할 수 있는지에 대한 이해가 매우 제한적이며, 이러한 한계를 이해하기 전까지는 AI를 더 좋고, 더 안전하고, 더 유용하게 만들 수 없다. 이 논문은 AI가 어려움을 겪는 부분에 대한 이야기의 누락된 부분을 채우는 데 도움이 된다”고 말했다. Ahrabian은 “이미지를 처리할 수 있는 이 새로운 세대의 대형 모델이 스스로 추론할 수 있는지 알아보고 싶었다”고 설명했다.  이 질문에 답하기 위해, 팀은 추상 추론에 대한 잘 알려진 테스트인 Raven’s Progressive Matrices를 기반으로 한 퍼즐에서 24개의 다른 MLLM을 테스트했다. 그들은 오픈소스 모델이 상당히 어려움을 겪는다는 것을 발견했다. 반면, 비공개 회사에서 개발하고 공개적으로 수정할 수 없는 모델인 GPT-4V와 같은 폐쇄형 소스 모델의 성능이 더 좋았다. 이러한 모델은 일반적으로 더 큰 데이터 세트와 더 강력한 컴퓨팅 시스템을 포함한 보다 고급 리소스로 학습되어 눈에 띄는 우위를 점했다. Ahrabian으 “폐쇄형 소스 모델에서 사소하지 않은 결과를 보았다. 특히 GPT-4V는 추론에 비교적 뛰어났지만 완벽과는 거리가 멀었다”고 덧붙였다.  연구의 중요한 부분은 이러한 모델이 어디에서 실패하는지 분석하는 것이었다. 핵심 문제 중 하나는 AI가 시각 정보를 정확하게 처리하는 능력이었다. Ahrabian은 “모델이 색상이나 선이 충돌하는 것과 같은 세부 사항을 볼 수 있는지, 그리고 그것이 모델이 잘못하고 있는 부분인지 알고 싶었다”고 말했다. 문제를 분리하기 위해 연구원들은 이미지에 대한 자세한 텍스트 설명을 제공하여 모델이 다른 형식으로 필요한 모든 정보를 가지고 있는지 확인했다. Sourati는 “시각적 요소를 제거하고 텍스트만 제공하더라도 많은 모델은 여전히 ​​효과적으로 추론할 수 없었다”고 설명했다. 문제는 시각 처리에만 있는 것이 아니라 추론 자체에도 있었다. 이제 팀은 무엇이 작동하지 않는지 더 명확하게 파악하여 초점을 맞추고 향후 개선 방향을 안내할 수 있었다. 연구원들이 탐구한 유망한 방법 중 하나는 AI가 추론 작업을 통해 단계별로 생각하도록 유도하는 “사고 연쇄 프롬프팅(Chain of Thought prompting)”이었다. 이 접근 방식은 어떤 경우에는 상당한 개선으로 이어졌다. Ahrabian은 “힌트로 모델을 안내함으로써 성능이 최대 100% 향상되는 것을 볼 수 있었다”고 언급했다. staff writer