설명가능한 인공지능 연구…11월 1단계 시스템 평가

“인공지능은 아직 기초적인 단계에 불과합니다. 인간 수준의 인공지능의 개발에는 회의적이며, 가능하다해도 먼 미래의 일이 될 것입니다.”

미국방위고등연구계획국(DARPA) 데이비드 거닝(David Gunning) 프로그램 메니저는 12일 서울 삼성동 코엑스에서 열린 ‘2018 International Explainable AI Symposium’에서 인간이 신뢰할 수 있고 관리가 가능한 인공지능 프로젝트를 소개했다.

거닝은 DARPA에서 인간과 인공지능 기계의 상호작용을 위한 설명 가능한 인공지능 연구 ‘Explainable AI(XAI)’를 이끌고 있다. 그의 연구는 인간이 신뢰할 수 있는 인공지능 개발에 촛점이 있다.

설명가능한 인공지능

기계 학습의 극적인 성공으로 인공지능(AI) 응용 프로그램이 급격히 발달하고 있다. 계속적인 진보는 스스로 인식하고, 배우고, 결정하고, 행동할 자율 시스템을 생산할 것을 약속다. 동시에 한계도 존재한다. 이러한 시스템의 효율성은 현재 사용자의 의사 결정과 행동을 설명할 수 없는 시스템의 한계로 인해 제한된다. 미국 국방부 (DoD)는 보다 지능적이고 자율적이며 공생적인 시스템을 요구하는 과제에 직면하고 있다. 미래의 전쟁 환경에서 인공지능 기계 파트너를 이해하고 적절하게 신뢰하고 효과적으로 관리한다면, 설명 가능한 인공지능(Explainable AI)은 필수적이다.

인간 사용자의 신뢰, 효과적 관리 목표

Explainable AI(XAI)프로그램은 다음과 같은 기계학습 기술을 만드는 것을 목표로 한다. 먼저, 높은 수준의 학습성과(예측 정확도)를 유지하면서 더 설명이 가능한 모델을 생성하는 과제다. 다음으로, 인간 사용자가 새로운 인공지능 파트너를 이해하고 적절하게 신뢰하며 효과적으로 관리 할 수 있도록 하는 것이다.

새로운 기계 학습 시스템은 그 이론적 근거를 설명하고, 장단점을 분석하며 장래에 어떻게 행동 할 것인지에 대한 이해를 전달할 수 있는 능력을 가질 것이다. 이 목표를 달성하기 위한 전략은 설명이 가능한 모델을 생산할 수 있는 새롭게 수정된 기계 학습 기술을 개발하는 것이다. 이 모델들은 모델을 최종 사용자가 이해할 수 있고 유용한 설명 대화로 변환 할 수있는 최첨단 인간 – 컴퓨터 인터페이스 기술과 결합 될 것이다.

DARPA, 제3의 AI시스템

DARPA의 전략은 미래 개발자들에게 성능과 설명 가능성을 포괄하는 다양한 디자인 옵션을 제공 할 수있는 방법과 포트폴리오를 생성하기 위해 다양한 기술을 추구하는 것이다.

XAI는 기계가 작동하는 상황과 환경을 이해하고 시간이 지남에 따라 실제 현상을 특성화할 수 있는 기본 설명 모델을 구축하는 ‘제 3의 AI 시스템’ 구현을 위한 DARPA 프로그램 중 하나다.

XAI 프로그램은 두 가지 영역에서 도전적인 문제를 해결함으로써 다중 시스템 개발에 중점을 둔다. 이 기종 멀티미디어 데이터에서 관심있는 이벤트를 분류하는 기계 학습 문제와 자율 시스템을 위한 의사결정 정책을 구성, 다양한 시뮬레이션 임무를 수행하는 기계 학습 문제다. 이 두 가지 도전 과제 영역은 두 가지 중요한 기계 학습 접근법 (분류 및 강화 학습)과 DoD(정보 분석 및 자율 시스템)에 대한 문제 영역의 교차점을 나타내기 위해 선택됐다.

11월 1단계 시스템 평가예정

연구자들은 1단계 XAI 시스템 평가를 준비하고 있다. XAI연구 프로토 타입은 테스트 과정에서 지속적으로 평가된다. 지난 5월 XAI 연구원들은 설명 가능한 학습 시스템의 초기 모델을 시연하고 1 단계 평가에 대한 초기 파일럿 연구 결과를 발표했다. 전체 1 단계 시스템 평가는 11월에 있을 예정이다.

프로그램이 끝나면 다음 과제는 미래의 설명 가능한 AI 시스템을 개발하는 데 사용할 수있는 기계학습 및 인간-컴퓨터 인터페이스 소프트웨어 모듈로 구성된 툴킷 라이브러리 구성이 될 것이다. 프로그램이 완료되면 이러한 툴킷을 사용, 국방 또는 상업용 응용 프로그램으로 더욱 정교하게 전환 할 수 있다.

인공지능, 당장은 인간 일자리 위협…미래 새 일자리 창출가능

인공지능이 인류에 위협이 될수 있는지에 대한 물음에 거닝은 “당장은 인공지능 기술로 인한 일자리 대체, 감소가 직면한 문제라고 생각하지만 이 또한 사회적 논의를 통해 장래에는 인공지능을 활용한 새로운 일자리를 창출 할 수 있을 것”이라고 덧붙였다.

헨리 키신저(Henry A. Kissinger) 전 미국 국가안보보좌관이 미국 아틀란틱(Atlantic) 저널 기고에서 인공지능이 미래 인류에 최대 위협이 될 것이라는 경고에 대해서는 “지금 수준에서 인공지능 위협에 대한 우려는 지나친 걱정”이라고 밝혔다.