야신다르 알든(Jacinda Ardern)뉴질랜드 총리와 임마누엘 마크롱(Emmanuel Macron) 프랑스 대통령은 15일(현지시간) 파리 정상회담(Paris summit)에서 폭력적 극단주의 온라인 콘텐츠 차단에 협력키로 기술 기업들과 각국 정상들과 뜻을 모았다.

이는 앞서 뉴질랜드 크라이스트처치에서 발생한 3월 15일 이슬람사원 두 곳에서 테러리스트가 총기를 난사, 51명을 살해한 사건이 페이스북에서 생방송 된 사건에 대한 조치다.

두 정상은 G7국가 장관과 구글(Google), 트위터(Twitter)를 포함한 기술회사 대표들과 만났다. 페이스북(Facebook) CEO 마크 주커버그(Mark Zuckerberg)는 참석하지 않았다.

알든 총리가 요청한 크라이스트처치 콜(Christchurch Call)에는 아마존, 페이스북, 구글, MS, 트위터, 유튜브, 데일리모션 및 퀀트와 함께 영국, 캐나다, 호주, 요르단, 세네갈, 인도네시아, 노르웨이, 아일랜드가 서약서에 서명했다. 독일, 인도, 일본, 네덜란드, 스페인, 스웨덴이 지지를 표명했다. 미국은 언론의 자유에 대한 우려로 가입을 거부 한 것으로 알려졌다.

SNS 통제와 AI 알고리즘

최근 몇 년 동안 각국 정부는 소셜네트워크(SNS), 소셜미디어플랫폼에 과격한 콘텐츠, 특히 테러를 조장하는 콘텐츠를 제거하도록 요청해왔다.

권위주의 국가들은 일상적으로 국가 위기 상황에서 SNS를 차단했고, 민주주의 국가는 사람들을 폭력적인 콘텐츠로부터 보호하기 위해 24시간 SNS통제를 하고 있다. 플랫폼이 통제를 준수하지 않으면 경영진은 처벌될 수 있다.

문제는 테러범죄 등 폭력 콘텐츠 차단을 위해 도입한 인공지능 알고리즘이 블랙박스처럼 불투명하며, 범죄입증과 처벌을 위해 보존가치가 있는 콘텐츠도 제거한다는 점이다.

최근 미국 아틀란틱(Atlantic)지는 인공지능 프로그램 도입 문제로 테러 및 폭력범죄의 증거를 삭제해 오히려 살인 등 범죄를 감추는 데 도움이 될 수 있을 지적했다.

테러리스트가 18명을 살해한 2017년 페이스북 비디오 케이스에서 페이스북은 동영상을 삭제했으나 인터넷에 퍼지고 난 이후였다.

전 세계 사람들이 이 비디오를 분석해 리비아에서 사건이 발생한 것과 처형 명령을 내린 사람은 알 사이카(Al-Saiqa) 사령관 인 마흐무드 무스타파 부사이프 알 워팔리(Mahayoud Mustafa Busayf al-Werfalli)임을 밝혔다. 이후 워팔리의 체포 영장에는 페이스북 동영상 및 그와 비슷한 다른 사람들에 대한 언급이 포함됐다.

잃어버린 증거

이후 페이스북, 유튜브(YouTube) 등에서 사용되는 콘텐츠 필터링 알고리즘이 훨씬 발전해 이제는 사용자가 영상을 시청하기도 전에 극단적 폭력적 콘텐츠를 자동으로 제거한다.

이는 대부분 경우에 문제를 개선한 케이스다. 반면 범죄자, 테러리스트의 범죄를 입증하는데 필요한 증거 손실로 이어질 수 있다. 실리콘밸리 기술 회사들은 검찰, 판사 및 배심원의 역할을 맡아서 대중의 시선에서 어떤 단어와 이미지를 공개 제외해야 하는지를 결정했다.

정부 기관은 폭력물 삭제 등 정부가 기술 기업에 요구하는 것 중 일부는 군벌과 독재자를 처벌 등 합법적 목표와 상충된다는 사실을 눈치 채지 못했다.

기술 대기업은 대체로 정보공개를 하지 않고 드러나지 않게 활동한다. 사내에서 개발한 인공지능 도구는 점점 더 불투명한 서비스 정책에 의해 관리된다. 심지어 내부 직원조차도 AI 알고리즘 프로세스에 무엇이 개입하는지, 어떤 종류의 편향 구조가 있는지조차 알지 못하는 경우도 많다.

수년 동안 SNS는 사용자로부터 불쾌한 콘텐츠, 증오심 표현, 폭력 등에 대한 신고를 받았다. 그러나 이 같은 문제 콘텐츠가 계속 늘어나자 페이스북, 유튜브, 트위터 등 기타 SNS는 콘텐츠 관리 및 분류작업을 자동화했다. 인공지능 기계학습(ML) 알고리즘으로 사람이 거의 개입하지 않고 엄청난 양의 데이터를 감지 할 수 있다.

1년 전 구글과 페이스북은 분기별 투명성 보고서에서 제거된 콘텐츠를 수치를 분석했다. 유튜브는 2018년 약 3만 9000여건의 동영상을 네트워크에서 제거했다. 공개 됐다가 자동화 시스템이 제거한 비디오 중 73%가 너무 빨리 제거돼 커뮤니티 사용자들이 본 적이 없었다. 한편 페이스북은 2017년 10월부터 2018년 9월까지 ‘테러리스트 선전’으로 간주되는 콘텐츠 1500만 개를 삭제했다. 2018년 3/4분기에 컴퓨터 알고리즘이 페이스북 테러관련 콘텐츠 중 99.5%를 제거했다. 제거 자료의 0.5%만 사용자가 먼저 보고했다.

문제는 그 과정이 블랙박스에 해당한다는 점이다. AI 알고리즘 프로그래밍과 작동에 대해 아는 사람은 거의 없다. AI 알고리즘이 시리아, 예멘 또는 리비아의 비디오가 가치 있는 증거 일 수 있다는 것을 식별 할 수 있는지, 게시자 생명의 위험을 감수할 만큼 보존 할 가치가있는지 판별할 수 없다.