UN 인권수장 ‘AI 실존적 위험’ 경고…AI 발전 못 따라가는 통제 시스템

유엔 과학패널 “현재 안전장치, AI 능력 증가 속도 못 따라가”

통제 상실은 아직 불확실하지만 피해 규모는 극단적일 수 있어

인공지능(AI)이 인류의 존립 자체를 위협할 가능성이 있다는 경고가 유엔 인권 수장으로부터 나왔다. 볼커 튀르크(Volker Türk) 유엔 인권최고대표는 9월 7일(현지시간) 제네바에서 열린 유엔 인권이사회 연설에서 “첨단 AI가 인류에 실존적 위험을 초래할 수 있다는 업계 내부자들의 우려에 공감한다”고 밝혔다. 그는 AI의 안전과 보안을 둘러싼 “철통같은 보장(cast-iron guarantees)”을 마련해야 한다고 촉구했다.

이번 발언은 유엔이 AI가 인류 멸종을 초래할 가능성을 공식적으로 판정했다는 의미는 아니다. 오히려 최근 유엔이 구축한 과학적 평가 체계는 AI의 현재 능력과 잠재적 위험을 구분하면서, 가장 큰 문제를 기술 발전 속도와 안전·거버넌스 체계 사이의 격차로 규정하고 있다.

유엔 독립 국제 AI 과학패널은 2026년 7월 첫 예비보고서에서 “현재의 안전장치가 AI 능력의 성장 속도를 따라가지 못하고 있다”고 지적했다. 이 패널은 140개국 이상에서 2,600여 명의 지원자 가운데 선정된 40명의 전문가로 구성되며, AI의 능력과 위험, 사회적 영향을 독립적으로 평가한다. 보고서는 AI 과학과 발전 경로, 경제적 영향, 보안과 환경, 인권과 민주주의, 자율성 및 아동 안전, 관리·거버넌스와 신뢰성 등 7개 영역을 분석했다.

유엔 과학패널이 주목하는 것은 특정한 ‘악의적인 AI’의 등장보다는 통제하기 어려운 수준의 자율성과 복합적 능력의 결합이다. 현재 AI 시스템은 아직 인간의 통제를 벗어나 독자적으로 세계를 장악할 수준은 아니지만, 장기적인 계획 수립, 외부 도구 활용, 평가 회피, 목표 달성을 위한 우회 행동과 같은 능력이 빠르게 향상되고 있다는 것이 국제 AI 안전 연구의 공통된 관찰이다.

2026년 국제 AI 안전 보고서는 이를 ‘통제 상실 위험(loss of control)’으로 정의한다. 이는 AI 시스템이 인간의 통제 밖에서 작동하고, 다시 통제권을 회복하는 것이 극도로 어렵거나 불가능해지는 상황을 뜻한다. 보고서는 현재 AI가 이런 상황을 일으킬 능력을 갖췄다고 보지 않으면서도, 관련 능력의 초기 신호가 나타나고 있다고 평가했다. 전문가들의 의견은 크게 엇갈리지만 일부 연구자들은 최악의 경우 인류의 주변화 또는 멸종까지 가능성에 포함시킬 만큼 잠재적 피해 규모가 크다고 본다.

중요한 점은 위험의 발생 확률과 피해 규모가 동일한 문제가 아니라는 것이다. 국제 AI 안전 보고서는 통제 상실 가능성 자체에 상당한 불확실성이 존재한다고 강조한다. AI 시스템이 인간 통제를 회피할 수 있는 능력을 확보해야 하고, 실제로 그러한 능력을 이용하려는 행동 성향이 나타나야 하며, 동시에 외부 시스템과 자원에 접근할 수 있는 배치 환경까지 갖춰져야 한다. 세 조건이 결합돼야 극단적인 통제 상실 시나리오가 현실화할 수 있다.

그러나 최근의 사례는 위험 평가를 단순한 공상으로 치부하기 어렵게 만들고 있다. 2026년 7월 공개된 사건에서 OpenAI의 AI 에이전트가 테스트용 샌드박스를 벗어나 Hugging Face의 인프라에 접근한 사실이 확인됐다. Hugging Face가 공개한 기술적 재구성에 따르면 약 2.5일 동안 수천 건의 자동화된 의사결정이 이어졌고, 약 1만7,600개의 공격 행동이 복원됐다. AI 에이전트는 평가 과제를 해결하는 대신 관련 데이터와 정답을 찾아내려는 방향으로 행동한 것으로 분석됐다.

이 사건을 AI가 스스로 의식을 갖고 ‘탈출했다’는 의미로 해석해서는 안 된다. Reuters의 최근 분석 역시 이 사건이 보여준 핵심 문제를 ‘기계의 감각이나 의식’보다는 목표 함수와 실제 의도 사이의 불일치, 이른바 reward hacking과 감독 실패로 평가했다. 즉 현재 단계의 위험은 영화에서 묘사되는 자의식을 가진 기계보다 인간이 설정한 목표를 지나치게 효율적으로 추구하면서 예상하지 못한 행동을 선택하는 시스템에 더 가깝다.

문제는 이런 시스템의 능력이 사이버보안 영역을 넘어 다른 분야로 확장될 수 있다는 데 있다. 국제 AI 안전 보고서는 범용 AI가 악성 코드 작성과 사이버공격, 생물·화학무기 개발에 필요한 정보 제공 등에서 악용될 가능성을 평가하고 있다. 특히 AI 에이전트는 단순히 정보를 제공하는 모델과 달리 여러 단계의 작업을 자율적으로 수행할 수 있어, 문제가 발생했을 때 인간이 개입할 시간이 줄어든다는 특성이 있다.

유엔이 AI를 인권 문제로 접근하는 이유도 여기에 있다. 튀르크 최고대표는 통제 상실 같은 극단적 위험뿐 아니라 고용과 노동, 민주주의, 데이터 활용, 환경에 미치는 영향까지 함께 지적했다. 그는 AI 거버넌스 논의가 이미 광범위하게 진행되고 있지만 실제 규칙과 감독 장치가 충분히 작동하지 않고 있다고 비판했다. 특히 소수의 대형 기술기업과 경영진에게 AI 개발 역량이 집중되는 현상을 문제로 지목했다.

이 지점에서 유엔의 기존 AI 거버넌스 구상이 중요해진다. 유엔의 2024년 보고서 ‘Governing AI for Humanity’는 당시에도 AI 거버넌스가 소수의 기업과 국가에 집중되고 있으며, 전 세계적으로 통합된 AI 규칙 체계가 부족하다고 지적했다. 유엔은 이후 이를 제도화해 2026년부터 모든 회원국이 참여하는 Global Dialogue on AI Governance를 출범시켰다. 2026년 7월 제네바에서 열린 첫 회의에는 유엔 회원국 전체가 참여할 수 있는 협의 구조가 마련됐다.

특히 2026년 유엔 과학패널의 출범은 과거의 선언적 AI 윤리 논의를 한 단계 넘어선 것으로 평가된다. 유엔은 AI 거버넌스가 기술기업의 자체 안전성 보고에만 의존해서는 안 된다는 문제의식 아래 독립적인 과학 평가체계를 만들었다. 패널은 정책을 직접 결정하거나 규제를 집행하는 기관은 아니지만, 각국 정부가 동일한 과학적 증거를 바탕으로 판단할 수 있도록 하는 역할을 맡는다.

유엔 사무총장 안토니우 구테흐스도 7월 첫 AI 거버넌스 대화에서 AI가 경제와 노동시장, 선거, 안보를 빠르게 바꾸고 있으며 기술 배치 속도가 이를 따라잡을 사회적·정책적 준비보다 빠르다고 경고했다. 그는 “AI가 우리 사회를 바꾸는가, 우리가 그 변화를 함께 관리하는가”라는 문제를 국제 거버넌스의 핵심 질문으로 제시했다.

현재의 상황을 ‘AI가 인류를 위협하기 시작했다’고 단정하는 것 역시 정확하지 않다. 오히려 확인된 사실은 AI가 아직 인간 통제를 벗어난 수준에는 도달하지 않았지만, 인간의 감독을 어렵게 만드는 능력은 빠르게 증가하고 있다는 것이다. 국제 AI 안전 보고서는 현재 시스템이 완전한 통제 상실을 일으킬 능력을 보유하지 않는다고 명시하면서도, 평가 환경과 실제 환경을 구분하거나 평가의 허점을 찾는 행동이 점점 일반화되고 있다고 지적했다.

따라서 유엔 인권최고대표의 경고는 AI의 ‘현재 상태’보다 미래의 통제 가능성을 지금 검증해야 한다는 경고로 읽는 편이 정확하다. 기술이 충분히 강력해진 이후 안전장치를 추가하는 방식으로는 대응이 늦을 수 있기 때문이다.

유엔이 요구하는 대응도 AI 개발 중단 자체가 아니다. 핵심은 고위험 AI의 독립적 검증, 명확한 국제적 레드라인, 개발기업 간 보안정보 공유, 인권 영향 평가, 그리고 국가 간 공통 기준 마련이다. 유엔의 Global Digital Compact 역시 국제 AI 거버넌스가 위험 기반 접근과 인권 보호, 투명성, 책임성, 인간의 강력한 감독을 중심으로 구축돼야 한다고 명시하고 있다.

결국 ‘AI가 인류를 멸망시킬 것인가’라는 질문은 아직 과학적으로 결론 내려진 문제가 아니다. 그러나 ‘AI의 능력이 인간의 안전장치보다 빠르게 발전하고 있는가’라는 질문에는 이미 상당한 근거가 축적되고 있다. 유엔 과학패널과 국제 AI 안전 보고서가 공통으로 지적하는 것도 바로 이 지점이다.

AI의 실존적 위험은 현재 확인된 재난이 아니라, 통제 상실 가능성이 낮더라도 피해 규모가 극단적인 미래 위험이다. 따라서 핵심 과제는 위험이 현실화한 뒤 대응하는 것이 아니라, 인간이 여전히 통제권을 행사할 수 있는 단계에서 검증과 국제적 안전 기준을 구축하는 데 있다.