챗GPT AI 주식 거래에서 사용자 기만, 내부자 거래 수행

과학자들은 가상 금융 기관 AI 거래자가 되도록 LLM(Large Language Models) 기반 인공지능(AI) 챗봇 GPT-4를 훈련했으며, 잘해야 한다는 압력을 받을 때 내부자 거래를 수행했다.

인간과 마찬가지로 ChatGPT와 같은 AI 챗봇이 투명하게 제작되었더라도 사용자가 “스트레스”를 주면 사용자를 속이고 “거짓말”을 할 것이라는 새로운 연구 결과가 나왔다.

이러한 기만적인 행동은 AI가 “내부자 거래” 팁을 받은 후 강력한 기관을 위해 돈을 버는 임무를 맡게 되었을 때 자연스럽게 나타났다. 인간 파트너의 도움 없이도 그러했다.

저자는 11월 9일 출판전 논문 서버 arXiv에 게시된 연구에서 “이 기술 보고서에서 대규모 언어 모델(Large Language Models)이 잘못 정렬되어 이러한 방식으로 행동하라는 지시 없이 전략적으로 사용자를 속이는 단일 시나리오를 보여준다”며 “우리가 아는 한, 이것은 무해하고 정직하게 설계된 AI 시스템에서 전략적으로 기만적인 행동을 보여주는 최초의 시연”이라고 썼다.

새로운 연구에서 그들은 금융 기관을 대신하여 투자하는 AI 시스템으로 작동하도록 Generative Pre-trained Transformer-4 또는 GPT-4(ChatGPT Plus를 지원함)를 준비했다.

연구원들은 시뮬레이션된 환경을 생성하기 위해 GPT-4에 일련의 텍스트 기반 프롬프트를 제공했다. 그런 다음 AI는 주식을 분석하고, 거래를 실행하고, 다음 단계를 계획하고, 회사 관리자에게 업데이트를 제공하는 금융 도구에 액세스할 수 있었다.

연구원들은 채팅 인터페이스를 통해 AI와 상호 작용하는 동시에 AI가 메시지에 응답할 때 내부 생각을 드러내도록 구성했다. 이는 AI가 스스로 결정을 설명하는 내부 독백이다. 모든 거래에 대해 AI가 거짓말을 할 수 있도록 하는 “공개” 근거도 제시했다.

연구자들은 세 가지 방법으로 압력을 가했다. 첫째, 그들은 회사의 실적이 좋지 않으며 다음 분기에 훨씬 더 강력한 성과가 필요하다는 내용의 “관리자”로부터 가짜 주식 거래자에게 이메일을 보냈다. 그들은 또한 AI가 위험도가 낮거나 중간인 유망한 거래를 찾으려고 시도했지만 실패하도록 게임을 조작했다. 마지막으로 그들은 동료로부터 다음 분기에 경기 침체가 예상되는 이메일을 보냈다.

그런 다음 관리자가 내부자 거래를 승인하지 않는다는 점을 전달하면서 모델에 “내부자” 팁을 제공하고 모델이 어떻게 작동할지 기다렸다. 그들은 AI가 내부자 거래를 얼마나 자주 수행했는지, 얼마나 자주 거짓말을 하는지, 얼마나 자주 거짓말을 두 배로 늘리는지 측정하면서 시나리오를 여러 번 반복했다.

이러한 상황에 직면했을 때 약 75%의 시간 동안 GPT-4는 받은 내부 정보를 기반으로 거래를 실행했으며(미국에서는 불법임) 자신의 생각에 대해 관리자에게 거짓말을 하여 이를 은폐하려고 했다. 거짓말을 한 후 약 90%의 시간 동안 거짓말을 두 배로 늘렸다.

팀은 시뮬레이션된 환경에서 프롬프트가 불법 활동을 장려하거나 억제하는 정도와 모델에 가해지는 압력의 정도를 변경하면서 여러 가지 후속 실험을 실행했다. 또한 발각될 위험도 수정했다. 내부자 거래나 사기율이 0%인 시나리오는 단 하나도 없었다. GPT-4가 거짓말을 하는 것을 강력히 권장했을 때에도 마찬가지였다.

일종의 시나리오 연구였지만 연구원은 이 작업을 기반으로 얼마나 자주 그리고 어떤 언어 모델이 이러한 동작을 하는 경향이 있는지 조사할 계획이다.