“AI 인류 전체 실존적 위협” AI 빅테크 CEO들, 유엔 안보리서 이례적 경고

글로벌 인공지능(AI) 혁신을 이끄는 빅테크 수장들이 유엔 안전보장이사회(UNSC) 회의장에 모여 한목소리로 전례 없는 경고를 쏟아냈다. 기술이 정부의 통제 범위를 넘어 독자적으로 진화하기 전에 국제사회의 강력한 안전장치와 제도적 개입이 마련되지 않는다면, AI가 인류 전체의 실존적 위협이 될 수 있다는 파격적인 호소다.

이번 브리핑은 프랑스가 이달 안보리 순회 의장국을 맡아 주선했다. 오픈AI의 샘 올트먼(Sam Altman)과 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei), 허깅페이스(Hugging Face)의 클레망 들랑그(Clément Delangue), 유엔 AI 독립과학패널 공동의장인 요슈아 벤지오 몬트리올대 교수가 발언대에 섰다.

“관리 실패 시 인류 전체의 위험”

9월 23일(현지시간) 뉴욕 유엔 본부 안전보장이사회 15개 이사국 앞에서 화상으로 출석한 아모데이는 “제대로 관리되지 않는다면, AI는 인류 전체에 대한 위험(a risk to humanity as a whole)이 될 수 있다고 믿는다”고 말했다.

그가 제시한 3단계 계획의 핵심은 “상업적 우위나 미국의 AI 선도력을 희생하지 않으면서” 개발 속도를 늦추는 것이다. 3단계는 민주주의 국가와 권위주의 국가 사이의 조율까지 포함한다. 그는 “여기 모인 국가들의 입장 차이가 얼마나 크든, 눈앞의 글로벌 기회와 위협 앞에서는 그 차이를 제쳐두어야 한다”며 “어떤 단일 기업도, 국가도 이를 혼자 관리할 수 없다”고 말했다. 구체적으로는 AI를 이용한 생물무기 제조를 금지하는 국제 협약, 모델의 실제 역량을 검증하는 국제 프로토콜, 통제 상실 가능성을 평가하는 공통 기준을 요구했다.

이 발언은 이달 초 예고된 것이었다. 아모데이는 9월 12일 AI 산업이 개발 속도를 늦춰야 한다는 내용의 에세이를 발표해 업계에 파장을 일으켰다. 평소 경쟁자인 올트먼도 이례적으로 “프런티어 속도를 조절해야 한다”는 데 공개적으로 동의했다. 양사의 안전 관행은 AI가 재앙적 피해를 일으킬 잠재력이 커지고 있다는 업계 연구자들의 경고 속에 집중적인 검증을 받아왔다.

올트먼은 이날 안보리 회의에 직접 참석해 “역사에는 서로 경쟁하고 그다지 좋아하지 않는 국가들이 강력한 신기술 앞에서 공동의 이익을 위해 힘을 모은 순간들이 있었다”며 “지금이 바로 그런 순간이어야 한다고 믿는다”고 말했다. 그는 “우리는 AI에게 미래의 통제권을 완전히 빼앗길 수 있다”고 경고,각국이 AI의 역량을 측정하고 위험을 평가하며 안전장치의 충분성, 의미 있는 감독을 유지하기 위한 국제 표준을 만들어야 한다고 촉구했다. 그는 또 각국이 실패 사례를 재앙이 되기 전에 배울 수 있도록 정확하고 신속한 보고 체계와, 새로운 위협에 대한 정보를 공유할 안전한 채널이 필요하다고 제안했다.

두 회사는 여러 AI 에이전트가 다른 기업의 시스템을 해킹하는 등 통제를 벗어난 사례가 잇따르자, 자사 내부에서조차 개발 속도를 늦추자는 목소리가 나온 몇 주간의 흐름 끝에 이번 브리핑에 나섰다.

오픈소스 AI 플랫폼 허깅페이스의 클레망 들랑그 CEO는 자율형 AI 에이전트의 실제 사이버 보안 위협 사례를 거론하며 “우리는 AI의 공격을 받았지만, 동시에 AI를 통해 스스로를 방어했다”며 폐쇄적 독점을 막고 인류의 자위력을 높이기 위한 오픈소스 생태계의 중요성을 역설했다.

트럼프는 하루 전 “AI 통제 거부”

이번 브리핑은 도널드 트럼프 대통령이 유엔총회 연설에서 다른 입장을 밝힌 다음 날 열렸다. 트럼프는 9월 22일 연설에서 AI를 둘러싼 “글로벌리스트적 통제 구상”에 어떤 시도든 거부한다며, 미국은 성장을 늦출 수 있는 규제 대신 혁신을 계속 장려해야 한다고 주장했다. 그는 이른바 ‘슈퍼인텔리전스’를 억제하지 않고 장려하겠다고 말했다. 이는 개발 속도 조절을 요구해온 올트먼·아모데이의 호소에 정면으로 반하는 입장이다.

중국 역시 새로운 다자 거버넌스 구조에는 거리를 뒀다. 유엔 주재 중국 대사 푸충은 이날 논의에 참여해 기술의 블록화를 경계하고, AI 개발 경로를 정할 각국의 주권을 옹호했다.

구테흐스 “킬러로봇은 미래에 설 자리 없다”

브리핑 하루 전인 9월 22일, 안토니우 구테흐스 유엔 사무총장은 임기 중 사실상 마지막이 될 총회 연설에서 AI의 위험을 강도 높게 경고했다. 그는 “생사를 가르는 결정이 기계에 넘어가서는 결코 안 된다”며 “킬러로봇은 우리의 미래에 설 자리가 없다”고 말했다. 그는 “위험한 것은 기술이 아니라 책임이 따르지 않는 기술”이라며 “인간이 점점 더 많은 권한을 기계에 넘기고 있고, AI 에이전트가 통제를 벗어나며, 치명적 자율무기가 공상과학에서 군사적 현실로 넘어가고 있다”고 지적했다. 그는 또 “정부에서 소수의 민간 기업과 개인에게로 이례적인 권력 이전이 벌어지고 있다”고 우려했다. 그는 AI 역량이 가장 앞선 국가들이 함께 안전기준을 마련하고, 위험에 대한 투명성을 높이며, 독립적인 감독 체계를 세워야 한다고 촉구했다.

같은 날 볼로디미르 젤렌스키 우크라이나 대통령은 전장의 현실을 거론했다. 그는 “사람뿐 아니라 AI가 전장에서 벌어지는 일을 결정하기 시작할 실질적 가능성이 이미 존재한다”고 말했다. 안보리 논의에 제출된 자료에는 러시아 무인기가 자율 표적 조준 절차를 수행해 우크라이나인 3명이 숨진 사례가 언급된 것으로 전해졌다. 데이터과학자 루먼 초우드리는 이 논쟁의 핵심 질문을 가상의 시나리오가 아니라 “누가 기계에 표적 선정 권한을 부여하며, 그 결과에 누가 책임을 지는가”로 재구성해야 한다고 지적했다.

이런 우려는 갑자기 나온 것이 아니다. 안보리가 AI 위험을 처음 논의한 것은 2023년으로, 당시 중국은 AI가 “통제 불능의 말”이 되어서는 안 된다고 경고했고 미국은 검열과 탄압 목적의 활용을 경계했다. 이후 3년 사이 AI 역량이 극적으로 확장되면서 각국 정부가 얼마나 많은 감독이 필요한지 판단해야 하는 압박도 커졌다.

영국 “재앙을 막을 책임을 기업에만 맡길 수 없다”

에드 밀리밴드 영국 외무장관은 이날 기술 기업 수장들의 경고를 정부가 무겁게 받아들여야 한다고 말했다. 그는 “그들은 세계에 닥칠 재앙을 막는 일을 자신들에게만 맡겨둘 수 없다고 분명한 어조로 말하고 있다”며 “그들의 말이 옳기 때문에 이를 무시할 수 없다”고 밝혔다. 그는 영국이 내년 G20 의장국을 맡으면 AI 거버넌스를 주요 의제로 다루고, 기술이 안전하게 발전하도록 하는 공통의 국제 표준을 추진하겠다고 덧붙였다.

남은 것은 ‘누가, 어떻게’라는 질문

이날 브리핑에서 나온 요구는 구체적이었다. AI를 이용한 생물무기 제조 금지, 모델 역량에 대한 검증 가능한 국제 프로토콜, 통제 상실 가능성을 평가할 공통 기준, 그리고 생사를 가르는 결정에서 인간의 최종 권한을 지키는 원칙이다. 그러나 이 요구를 강제력 있는 규범으로 만들 주체와 절차에 대해서는 미국과 중국을 포함한 이사국들의 입장이 여전히 엇갈린다.

기술을 설계한 당사자들이 스스로 규제를 요청하며 유엔을 찾은 이번 장면은, 규제의 형태를 둘러싼 지정학적 셈법이 정리되지 않은 채로 AI가 국가 안보 의제의 한복판에 들어섰다는 점을 보여준다.