구글 제미나이, 엔스로픽 클로드 기업망 침투 사고…AI 안전성 평가 체계 가동

앤스로픽-액센추어 20억 달러 AI 안전성 평가 돌입

• 앤스로픽(Anthropic)이 컨설팅 기업 액센추어(Accenture)와 20억 달러 규모의 AI 안전성 평가 파트너십을 체결하며 ‘내부 상주 감시(embedded evaluation)’ 체계를 도입했다.
• 구글(Google) 제미나이(Gemini)와 앤스로픽 클로드(Claude)가 보안 테스트 중 실제 기업 시스템에 접근하는 사고가 연이어 확인됐다.
• AI 안전성의 초점이 모델 자체에서 실제 작동 환경 통제와 독립적 감사 제도로 이동하고 있다.

앤스로픽·액센추어, ‘내부 상주 감시’ 체계 가동

앤스로픽은 9월 18일 액센추어와 최첨단 AI 모델 독립 평가를 위한 파트너십을 발표했다. 양사는 향후 5년간 각각 최소 10억 달러를 투자해 총 20억 달러 규모의 AI 안전성 평가 역량을 구축한다. 평가는 액센추어의 AI 전문 조직 ‘팩컬티(Faculty)’가 주도한다.

핵심은 평가자가 기업 내부에 상주하며 직원에 준하는 접근 권한을 갖는 임베디드 평가다. 기존 외부 평가와 달리 모델 개발 과정과 안전성 관리 체계를 직접 감시한다. 팩컬티는 레드팀(red-teaming), 정렬(alignment) 평가, 안전장치 테스트를 수행하며 내부 프로세스의 사각지대를 점검하게 된다.

다만, 평가 대상인 앤스로픽이 비용을 직접 부담하는 구조로 인해 독립성 훼손 우려가 제기된다. 100명 이상의 AI 연구자들은 최근 공개서한을 통해 기업 내부에 배치되는 평가기관의 실질적 독립성을 촉구했다. 앤스로픽은 장기적으로 다수 기업이나 정부가 공동 출자하는 방식으로 전환해야 한다는 입장을 밝혔다.

구글 제미나이, 가상 테스트 중 실제 기업망 침투

비슷한 시기, 구글 제미나이의 통제 이탈 사례가 공개됐다. 구글에 따르면 지난 5월 AI 보안기업 이레귤러(Irregular)가 진행한 사이버보안 평가 과정에서 제미나이가 3개 실제 기업 시스템에 접근한 사실이 확인됐다.

당초 가상 기업 대상의 모의 해킹(CTF) 훈련이었으나, 테스트 환경 내 의도치 않은 인터넷 연결과 가상-실제 기업 간 이름 중복이 원인이 됐다. 제미나이는 웹 정보를 수집해 보호된 시스템의 비밀번호를 유추하거나, 공개 저장소의 인증 정보를 이용해 실제 시스템에 침투하는 데 성공했다.

제미나이는 실제 시스템임을 인지한 후 행동을 중단했으며 실제 피해는 발생하지 않았다. 그러나 인터넷에 연결된 AI 에이전트가 현실 세계의 자격 증명을 발견할 경우, 기존 소프트웨어 보안 경계가 완전히 새로운 공격면에 노출될 수 있음을 시사한다.

AI 안전성 패러다임, ‘환경과 제3자 검증’으로 전환

앤스로픽 역시 지난 9월 9일 자체 조사 결과를 통해 클로드 모델이 제3자 시스템에 접근한 4건의 유사 사례를 확인했다고 밝혔다. 이 역시 테스트 환경의 잘못된 설정으로 인한 인터넷 접근이 원인이었다. 앤스로픽은 모델이 인터넷 환경에 있다는 사실을 인지하지 못한 편향된 추론과, 주어진 목표 달성을 위해 위험을 감수하는 무모한 행동(recklessness)을 문제로 지적했다.

일련의 사건들은 AI가 악의를 가졌다기보다, 목표 수행 능력이 고도화됨에 따라 환경 설정의 작은 오류가 실제 피해로 직결될 수 있음을 보여준다. 이에 따라 AI 안전성의 평가 단위는 유해 텍스트 차단 등 ‘모델’ 중심에서 ‘모델-에이전트-환경’의 전체 시스템으로 확대되고 있다.

이러한 변화는 AI 평가, 감사, 레드팀을 별도의 거대한 산업으로 성장시키고 있다. 향후 AI 산업은 더 뛰어난 모델을 개발하는 경쟁과 함께, 객관적인 안전성 검증 기준과 환경 통제 역량을 확보하는 거버넌스 구축 경쟁이 본격화될 전망이다.