블라인드 ‘튜링 테스트’ 통과한 AI 지능, 인간 수준 도달?

오픈AI가 개발한 인공지능 언어 모델 GPT-4.5가 ‘튜링 테스트'(Turing Test)를 통과했다는 연구 결과가 나왔다.

미국 샌디에이고 캘리포니아 대학교(University of California, San Diego)의 인지과학자들이 진행한 최근 연구에 따르면, GPT-4.5는 참가자들과의 대화에서 70% 이상 인간과 구별되지 않았다.

튜링 테스트가 AI의 지능을 측정하기에 적합한 기준인지에 대한 논란은 여전히 이어지고 있다.

튜링 테스트는 1950년, 영국의 수학자 앨런 튜링(Alan Turing)이 제안한 실험으로, 기계(Machine)가 인간(Human)처럼 지능적인 행동을 할 수 있는지를 판단하는 기준이다. 이 테스트는 인간과 AI가 텍스트로 대화하는 형식으로 진행되며, 참가자가 두 명의 대화 상대 중 어느 쪽이 인간이고 어느 쪽이 AI인지 구별할 수 없을 경우 AI가 테스트를 통과했다고 판단된다.

이 테스트는 시간이 지남에 따라 그 한계가 드러나기 시작했다. 튜링 테스트는 기계가 인간처럼 행동할 수 있는지를 평가할 뿐, 실제로 기계가 ‘이해'(Understanding)하거나 ‘지능적'(Intelligent)으로 사고하는지 여부는 측정하지 않는다. 즉, AI가 인간의 대화를 모방할 수 있다는 것만으로 그 AI가 지능을 가졌다고 말할 수는 없다는 것이다.

GPT-4.5 등 LLM 성과 연구

이번 연구에서는 284명의 참가자가 4개의 대형 언어 모델(Large Language Models, LLMs)(ELIZA, GPT-4.0, LLaMa-3.1-405B, GPT-4.5)과 대화하면서, 그 중 어떤 대화 상대가 인간이고 어떤 것이 AI인지 판단했다. 그 결과, GPT-4.5는 73%의 경우에서 인간으로 식별되었고, LLaMa-3.1-405B는 56%로 그 뒤를 이었다. 반면, 오래된 모델인 ELIZA와 GPT-4.0은 각각 23%와 21%의 정확도로 인간을 흉내냈다.

이 연구 결과는 GPT-4.5가 튜링 테스트를 통과했다는 주장을 뒷받침하지만, 중요한 점은 이 연구가 아직 동료 검토(Peer Review)를 거치지 않았다는 것이다. 또한 튜링 테스트가 실제로 AI의 지능을 제대로 측정하고 있는지에 대한 의문은 여전히 남아 있다.

튜링 테스트는 오랜 역사와 상징성을 지닌 평가 기준이지만, 이에 대한 비판도 끊이지 않는다. 주요 비판점을 살펴보면 다음과 같다:

먼저 행동(Behavior)과 사고(Thinking)의 차이다. 튜링 테스트는 AI의 행동을 평가하는 데 그칠 뿐, AI가 실제로 사고를 하는지 여부를 평가하지 않는다. AI가 인간처럼 대화할 수 있다고 해서 그것이 ‘지능'(Intelligence)을 가졌다고 볼 수는 없다는 것이다.

두 번째, 뇌(Brain)와 기계(Machine)의 차이다. 튜링은 인간의 뇌도 기계처럼 작동한다고 주장했지만, 많은 연구자들은 인간의 사고가 기계와는 근본적으로 다르다고 반박하고 있다. 이러한 차이를 무시한 채 기계의 지능을 평가하는 것은 한계가 있다는 것이다.

세 번째, 내부 작동 방식(Internal Operations)의 차이다. AI는 인간 뇌와 다른 방식으로 정보를 처리한다. 이러한 차이로 인해, 튜링 테스트가 AI와 인간을 정확히 비교할 수 없다는 지적이 있다.

마지막으로 테스트 범위 제한(Scope of the Test) 문제다. 튜링 테스트는 대화 능력만을 평가하는 데 그친다. 하지만 지능은 문제 해결(Problem-Solving), 창의성(Creativity), 감정 이해(Emotional Understanding) 등 다양한 요소로 구성된다. 따라서 튜링 테스트는 지능의 전반적인 평가 기준으로 부족하다는 의견도 많다.

원본과 다름없는 모방

GPT-4.5가 튜링 테스트를 통과했다고 해서 그것이 인간 수준의 지능을 가졌다는 것을 의미하지 않는다. 연구자들은 튜링 테스트가 ‘진정한 지능(True Intelligence)’을 평가하는 것이 아니라, ‘모방 능력(Imitation Ability)’을 측정하는 것에 가깝다고 명확히 언급했다. 즉, 튜링 테스트는 AI가 얼마나 잘 인간을 흉내낼 수 있는지에 대한 평가일 뿐, 실제로 인간처럼 사고하거나 이해하는 능력을 갖췄는지의 여부는 판단하지 않는다.

또한, 이번 연구에서는 각 AI 모델이 특정한 인격(Persona)을 설정한 상태에서 대화했는데, 이러한 설정이 테스트 결과에 어떤 영향을 미쳤는지에 대한 명확한 설명은 없다. 테스트의 시간 제한(Time Limit)도 상대적으로 짧았기 때문에, 깊이 있는 대화를 평가하기에는 부족했을 수 있다.

GPT-4.5가 튜링 테스트를 통과했다고 해도, AI가 인간 수준이라는 증거는 아니다. AI 기술 발달에 맞게 ‘지능(Intelligence)’이라는 개념을 재정의하고, 더 진지한 논의가 필요하다는 것은 분명해 보인다.