ChatGPT 포함 대규모  언어 모델 가짜 뉴스 탐지 능력 평가
| | | |

ChatGPT 포함 대규모 언어 모델 가짜 뉴스 탐지 능력 평가

대규모 언어 모델(LLM)은 인간이 작성한 텍스트와 매우 유사한 텍스트를 빠르게 생성하고 다른 간단한 언어 관련 작업을 완료할 수 있는 자연어 처리(NLP) 기술의 진화다. 이러한 모델은 OpenAI에서 개발한 고성능 LLM인 Chat GPT의 공개 릴리스 이후 점점 인기를 얻고 있다.

LLM을 평가하는 최근 연구는 지금까지 주로 잘 작성된 텍스트 작성, 특정 용어 정의, 에세이 또는 기타 문서 작성, 효과적인 컴퓨터 코드 생성 능력을 테스트했다. 그럼에도 불구하고 이러한 모델은 인간이 가짜 뉴스 및 잘못된 정보를 포함하여 다양한 다른 실제 문제를 해결하는 데 잠재적으로 도움이 될 수 있다.

미국 위스콘신 대학(University of Wisconsin-Stout) 연구원인 Kevin Matthe Caramancion은 최근 뉴스 기사가 사실인지 가짜인지 감지하기 위해 지금까지 발표된 가장 잘 알려진 LLM의 능력을 평가하는 연구를 수행했다. 출판전 논문 서버 arXiv에 올라온 논문에서 그의 발견은 온라인 잘못된 정보에 대응하기 위해 이러한 정교한 모델의 향후 사용에 기여할 수 있는 귀중한 통찰력을 제공한다.

연구에서 Caramcion은 독립적인 팩트체킹 기관에서 팩트체킹된 100개의 뉴스 항목 테스트 세트를 사용하여 이러한 대규모 언어 모델의 성능을 평가했다. 이러한 각 뉴스 항목을 통제된 조건에서 모델에게 제시한 다음 응답을 참, 거짓 및 부분적으로 참/거짓의 세 가지 범주 중 하나로 분류했다. 모델의 효율성은 독립적인 기관에서 제공한 사실 확인과 비교해 이러한 항목을 얼마나 정확하게 분류했는지에 따라 측정됐다.

인터넷과 소셜 미디어를 통해 정보가 사실인지 거짓인지에 관계없이 정보를 점점 더 빠르게 전파할 수 있게 되면서 잘못된 정보는 최근 수십 년 동안 중요한 문제가 됐다. 따라서 많은 컴퓨터 과학자들은 사용자가 온라인에서 읽은 뉴스를 확인할 수 있는 더 나은 사실 확인 도구와 플랫폼을 고안하려고 노력해 왔다.

현재까지 생성되고 테스트된 많은 사실 확인 도구에도 불구하고 잘못된 정보를 방지하기 위해 널리 채택되고 신뢰할 수 있는 모델이 여전히 부족하다. 연구의 일환으로 Caramcion은 기존 LLM이 이 세계적인 문제를 효과적으로 해결할 수 있는지 확인하기 시작했다.

그는 Open AI의 Chat GPT-3.0 및 Chat GPT-4.0, Google의 Bard/LaMDA, Microsoft의 Bing AI 등 네 가지 LLM의 성능을 구체적으로 평가했다. Caramcion은 이 모델들에게 이전에 사실 확인을 거친 동일한 뉴스 기사를 제공한 다음 그들이 참인지, 거짓인지 또는 부분적으로 참/거짓인지 판단하는 능력을 비교했다.

Caramcion은 “사실과 속임수를 구별할 수 있는 능력에서 주요 LLM에 대한 비교 평가를 수행했다”며 “우리는 OpenAI의 GPT-4.0이 다른 모델을 능가하여 새로운 LLM의 발전을 암시한다는 것을 발견했다. 그러나 모든 모델은 인간 인지의 대체할 수 없는 가치를 강조하면서 인간 팩트 체커보다 뒤처졌다. 이러한 발견은 인간 기술과의 균형 잡힌 공생 통합을 보장하면서 사실 확인 분야에서 AI 기능 개발에 대한 집중도를 높일 수 있다.”라고 말했습니다.

Caramcion이 수행한 평가에서는 ChatGPT 4.0이 사실 확인 작업에서 다른 저명한 LLM보다 월등히 뛰어난 것으로 나타났다. 더 넓은 가짜 뉴스 풀에서 LLM을 테스트하는 추가 연구는 이 결과를 확인하는 데 도움이 될 수 있다.

연구원은 또한 인간 팩트 체커가 그가 평가한 모든 기본 LLM보다 여전히 우수한 성과를 보인다는 사실을 발견했다. 그의 작업은 이러한 모델을 사실 확인에 적용하려면 이러한 모델을 더욱 개선하거나 인간 에이전트의 작업과 결합해야 할 필요성을 강조한다.

Caramcion은 “향후 연구 계획은 인간의 고유한 인지 능력을 간과하지 않으면서 이러한 발전을 활용할 수 있는 방법에 초점을 맞춰 AI 기능의 발전을 연구하는 것”이라며 “우리는 테스트 프로토콜을 개선하고, 새로운 LLM을 탐색하고, 뉴스 사실 확인 영역에서 인간 인지와 AI 기술 간의 역학 관계를 추가로 조사하는 것을 목표로 한다”고 덧붙였다.

사이언스모니터 뉴스레터
AI·양자·R&D 핵심 해설을 주 2회(화·금) 이메일로 받아 보세요.

Similar Posts