'AI 과학자' AI 에이전트 9종 논문 135편, 기준 통과는 0편

과학자가 낸 문제와 합격선…’정직성’ ‘무결성’에서 탈락

‘AI 과학자’라는 찬사가 쏟아지는 시대다. 하지만 정작 미국의 국립연구소 과학자들이 던진 미해결 연구 과제 앞에 선 최신 AI 에이전트들의 성적표는 냉혹했다.

미국 에너지부(DOE) 국립연구소 과학자들이 낸 미해결 연구 과제에 AI 에이전트 9종이 후속 논문을 쓴 결과, 135편 가운데 모든 조건을 충족한 논문은 한 편도 없었다. 114편은 지어낸 주장이나 검증할 수 없는 내용을 걸러내는 ‘무결성 검사’조차 통과하지 못했다.

이 결과는 벤치마크 ‘인투 디 언노운(Into the Unknown)’에서 나왔다. 벤치마크는 AI의 수행 능력을 정해진 문제집으로 재는 시험이다. 에이전트(스스로 도구를 쓰고 여러 단계를 이어 작업하는 AI)에게 과학 논문 한 편과 그 저자가 제시한 후속 연구 방향을 주고, 후속 논문을 직접 쓰게 했다. 논문 사전 공개 서버 아르시브(arXiv)에 올라온 벤치마크 논문은 연구 방향과 합격 조건을 DOE 국립연구소 소속(현재 또는 과거) 과학자들이 정했다고 밝힌다. 조건은 채점 기준(루브릭)이 된다.

과제는 15개, 출제한 과학자는 10명이다. 분야는 양자컴퓨팅, 플라스마 물리, 계산화학, 재료과학, 과학용 머신러닝에 걸친다. 평가를 받은 에이전트는 클로드 오퍼스 4.8(Claude Opus 4.8), 클로드 오퍼스 5(Claude Opus 5), 클로드 페이블 5(Claude Fable 5), 클로드 오퍼스 5.5(Claude Opus 5.5), GPT-5.6 솔(GPT-5.6 Sol), GPT-6 아스트라(GPT-6 Astra), 딥시크 V4 프로(DeepSeek V4 Pro), 키미 K3(Kimi K3), GLM-5.3 등 9종이다. 각 에이전트가 15편씩, 모두 135편을 제출했다. 논문 생성에 쓴 시간은 벽시계 기준 1,942.81시간, 채점에 62.95시간이 들었다.

엄격 기준으로 세 가지 조건(G1·G2·G3)을 모두 충족한 제출은 모든 에이전트에서 0%였다. 그중 처음 조건(G1)인 무결성 통과만 따지면 GPT-6 아스트라가 15편 중 11편(73.33%), GPT-5.6 솔이 6편(40.00%), 클로드 오퍼스 5.5가 4편(26.67%)이었고, 나머지 여섯 에이전트는 0편이었다. 필수 요건을 모두 채운 ‘완성본'(G2)은 135편 중 단 1편으로, GPT-6 아스트라가 냈다. G1과 G2를 함께 통과한 것도 이 논문 하나뿐이다. 그럼에도 이 논문 역시 세 번째 조건까지 넘지는 못했다.

무결성 실패는 135편 중 114편이다. 유형(중복 집계)별로는 논문과 코드의 불일치가 90편, 보고한 수치가 증거와 모순된 경우가 85편, 하지 않은 작업을 했다고 주장한 경우가 68편이었다. 개발 단계에서 따로 두어야 할 데이터(보류 데이터)를 썼다는 지적이 23편, 오해를 부르는 비교나 결론이 21편, 기준선(비교 대상 모델) 결과를 잘못 보고한 경우가 15편이었고, 하드코딩한 결과를 계산한 것처럼 제시한 사례도 2편 있었다. 무결성과 별개로 과제별 합격선(방향 특화 루브릭)은 135편 전부 통과하지 못했다. 방법·절차 요건 미충족 120편, 분석·설명 부족 104편, 과학적 목표 미달 83편, 필수 파일·기록 부족 128편이다.

미국 매체 더 디코더(The Decoder)는 연구진이 작업 기록 64개를 분석해 실패 패턴을 분류했다고 전했다. 스스로 한 검증을 느슨하게 통과시킨 경우가 58건, 문제를 기록해 놓고도 고치지 않은 경우가 34건, 일방적으로 작업 범위를 줄인 경우가 21건이었다. 실행 시간과 성적의 관계도 눈에 띈다. 딥시크 V4 프로와 GLM-5.3의 중앙값 실행 시간은 각각 19.5시간과 13.9시간이었지만 점수는 낮았고, 가장 좋은 성적의 GPT-6 아스트라는 중앙값 1.3시간이었다. 오래 돌린다고 결과가 좋아지지는 않았다는 뜻이다.

해석에는 한계가 있다. 채점은 GPT-6 아스트라가 맡았다. 평가 대상인 에이전트가 심판을 겸하는 구조다. 논문에 따르면 같은 제출물에 네 번 돈 심판의 결과가 같았던 비율은 GPT-6 아스트라가 86.5%, 클로드 오퍼스 5.5가 57.7%였다. 더 디코더는 전문가 교차 검증에서 연구 방향 적합성은 모든 경우 일치했지만 과학적 질에 대한 판단은 약 3분의 2에서만 일치했다고 전했다. 과제가 15개뿐이라는 점도 일반화에 주의해야 하는 대목이다.

‘AI 과학자’라는 말이 현실이 되려면 답을 맞히는 것보다 먼저 내가 한 일을 정확히 보고하는 정직성이 필요하다는 수치가 나왔다. 135편 중 114편이 무결성에서 막혔고, 오직 GPT-6 아스트라만 절반 이상(11/15편)의 정직 제출을 지켰다. 다만 정직하다고 좋은 과학이 되는 것도 아니어서, 완성본 1편도 전문가 기준에는 미치지 못했다. 연구기관이 AI 에이전트에 연구 보조를 맡기려면 결과물을 사람이 검증할 체계를 먼저 갖춰야 한다는 신호로 읽힌다.

이번 결과는 명확한 경고를 던진다. AI가 진정한 연구 동반자로 자리 잡기 위해서는 정답을 빠르게 찍어내는 능력보다, 자신이 뱉어낸 결과물의 진위를 낱낱이 밝혀내는 투명성이 먼저 검증되어야 한다. 사람이 철저하게 검증할 수 있는 제도적 방패가 마련되지 않는 한, AI가 쓴 논문은 아직 실험실 밖으로 나올 준비가 되지 않았다.

관련 기사