AI가 학술 논문 심사 과정에 깊숙이 파고들면서 학술 출판계가 전례 없는 구조적 전환점을 맞이하고 있다.
2026년 현재, 학술 컨퍼런스 리뷰의 20~30%가 AI가 실질적으로 생성한 텍스트를 상당 부분 포함하고 있다는 연구 결과가 잇따라 발표되면서, 주요 학술지들은 AI 탐지 정책을 본격 도입하는 단계에 접어들었다.
규모의 충격은 수치로 명확히 드러난다. AI 콘텐츠 탐지 전문 기업 팬그램 랩스(Pangram Labs)가 머신러닝 분야 최대 학술 컨퍼런스 중 하나인 ICLR 2025에 제출된 리뷰 7만 건 전체를 분석한 결과, 약 21%가 AI의 도움을 받은 수준이 아니라 처음부터 끝까지 LLM이 완전히 작성한 것으로 확인됐다. 단순 보조가 아닌 전면 대체가 이미 현실로 벌어지고 있는 것이다.
이 같은 현상의 배경에는 학술 출판 시스템 자체의 구조적 과부하가 자리하고 있다. 학술지 논문 투고 건수는 2013년 이후 연평균 6.1%라는 전례 없는 속도로 증가해왔으며, 기존에 거절된 논문이 다른 학술지에 재투고되는 과정에서만 전 세계적으로 매년 1,500만 시간 이상이 심사에 소비되는 것으로 추산된다. 2025년 전 세계 과학 논문 생산량은 연간 500만 편을 돌파했지만, 자격을 갖춘 전문 심사위원 풀은 이에 전혀 따라가지 못하고 있는 실정이다. 편집자들은 동일한 연구자에게 반복적으로 심사 요청을 보내야 하고, 한 해에 40번째 심사 요청을 받은 연구자가 논문 초록을 ChatGPT에 붙여 넣고 결과물을 다듬는 유혹에 빠지는 것은 어렵지 않게 상상할 수 있는 일이다.
AI 피어 리뷰가 해결하는 부분도 분명히 존재한다. 5,000편 이상의 논문을 대상으로 한 대규모 연구에서 GPT-4 기반의 블라인드 리뷰에 대해 응답자의 57.4%가 전반적으로 도움이 된다고 평가했으며, 82.4%는 적어도 일부 인간 심사위원의 리뷰보다 더 유용하다고 답했다. 속도 면에서도 두드러진 개선이 확인된다. LLM은 심사 초안을 며칠이 아닌 수분에서 수시간 내에 작성할 수 있으며, 심사위원 매칭 시간을 73% 단축했다는 연구 결과도 보고된 바 있다.
일관성 측면에서도 주목할 만한 수치가 나왔다. GPT-4의 피드백과 개별 인간 심사위원의 피드백 간 일치율은 네이처 계열 학술지 투고 논문 기준 약 30.9%로, 인간 심사위원 간 일치율인 28.6%를 소폭 상회하는 것으로 나타났다. AI가 형식과 일관성 면에서 인간과 동등하거나 그 이상의 수준을 보여주고 있다는 해석이 가능한 대목이다.
그러나 AI 피어 리뷰의 구조적 한계는 훨씬 더 근본적인 지점에서 드러난다. 단세포 RNA 시퀀싱(scRNA-seq) 분야를 5년간 연구한 심사위원은 특정 클러스터링 알고리즘이 특정 조건에서 세포 집단을 과분류하는 문제를 직관적으로 파악한다. 이 지식은 논문에 기록된 것이 아니라 연구자의 경험 속에 축적된 것으로, LLM은 이를 탐지해 낼 수 없다. ChatGPT 등 AI 도구가 언어 처리와 일반 작업에서 탁월한 성능을 보이는 것은 사실이지만, 복잡한 과학적 내용을 완전히 이해하거나 비판적으로 평가하는 데 필요한 심층적 전문 지식은 여전히 부족하다.
더 심각한 것은 악용 가능성이다. GPTZero는 NeurIPS에서 이미 게재 승인된 논문들에서 100개 이상의 환각 인용, 즉 LLM이 만들어낸 허위 참고문헌이 심사를 통과한 사실을 발견했다. AI 기술은 논문 공장(paper mills)의 대량 생산을 가속화하고 있으며, 표절 탐지 시스템 우회, AI 이미지 생성을 통한 데이터 조작 등 다양한 형태로 학술 시스템 자체를 위협하고 있다.
책임 소재 문제도 심각하다. 프롬프트 인젝션 공격은 LLM의 근본적인 아키텍처를 이용해 모델이 지시를 무시하고 숨겨진 명령을 따르도록 만들 수 있으며, 악의적 행위자가 인간이 읽기에는 완전히 정상적으로 보이지만 AI 시스템을 조종하는 텍스트를 논문에 삽입할 수도 있다.
주요 학술지들은 이에 대응하는 정책 마련에 나섰다. JAMA와 JAMA 네트워크 계열 학술지들은 AI 도구를 저자로 등재하는 것을 금지하고, 원고 준비나 심사 과정에서 AI를 사용할 경우 반드시 이를 투명하게 공개하도록 의무화하는 지침을 도입했다. Academic Medicine과 MedEdPORTAL은 전문적 책임, 기밀 유지, 공정성, 투명성을 원칙으로 삼은 AI 사용 지침을 채택하면서, AI 사용 자체를 금지하는 것이 아니라 전문가적 판단을 보완하는 방향으로 활용하는 틀을 마련했다.
결국 전문가들이 공통적으로 가리키는 방향은 하이브리드 협업 모델이다. AI는 문법 오류, 인용 불일치, 데이터 형식 오류 등 기술적 결함을 신속히 걸러내는 체크리스트 역할을 맡고, 인간 심사위원은 연구의 혁신성, 해석의 타당성, 학문적 파급력 같은 질적 판단에 집중하는 구조다. AI가 탐지하지 못하는 것은 AI가 무엇을 찾아야 하는지 모른다는 데 있다. 심사위원은 자신이 리뷰하는 분야에서 직접 출판 활동을 하며 평판이라는 이해관계를 갖고 있지만, AI에게는 지켜야 할 평판도 책임져야 할 학술 공동체도 없다. AI 피어 리뷰의 시대는 이미 시작됐지만, 그것이 학문의 질을 높이는 방향으로 작동하게 하려면 투명한 공개 의무와 인간의 최종 판단이라는 두 축이 반드시 함께 가야 한다는 것이 현재 학계의 중론이다.
