인공지능(AI)에서 의사결정을 자동화하거나 향상시키려는 기업이 늘어나면서 이른바 ‘블랙박스’ 즉 의사결정의 불투명성 문제는 극복해야 할 과제였다.

미국 방위고등연구계획국(DARPA)의 ‘XAI(설명 가능한 AI)’ 프로젝트는 이 문제를 적극적으로 연구해왔다.

업계에서도 AI 의사결정의 해석 가능성은 기계학습(machine learning) 연구의 중심이다.

최근 구글 브레인(Google Brain) 과학자는 인공 지능 시스템이 기계학습 알고리즘에서 복잡하고 까다로운 작업을 통한 결론에 도달한 방법을 설명하는 데 도움이 되는 도구를 만들었다.

실제로 신경 네트워크가 암과 같은 질병에 걸릴 위험에있는 환자를 식별하도록 훈련 된 경우 데이터의 어떤 특징을 정확하게 식별 할 수 있는 방법이 없다. 그 ‘지식’은 수백 또는 수천 개의 연결을 가진 많은 수의 인공뉴런 층에 산재해 있다.

그동안 신경망은 외부에서 이해하기 어려워 ‘블랙박스’로 표현돼 왔다. 인공 신경망이 어떤 결론을 이끌어 낸 원인을 설명 할 수는 없다면 쉽게 그 결론을 받아들일 수 없다. 구글 브레인 ‘설명가능한 기계학습’ 연구자 빈 킴(Been Kim)은 인공지능이 잘못된 결론에 도달했을때 그 과정을 우리가 이해할 수 있도록 ‘인간을 위한 번역자’를 개발하고 있다.

최근 퀀타메거진에 따르면, 개념 실행 벡터(Concept Activation Vector, TCAV)로 불리는 이 도구는 기계학습 알고리즘에 연결해 결과를 산출하기 전에 여러 요인이나 유형의 데이터에 가중치를 부여, 간단히 테스트 할 수 있다. 인공 지능과 그것을 개발하는 데 사용된 훈련 데이터의 인종 및 성별 편향 문제에 대해 더 정밀한 조사를 위해 TCAV와 같은 도구가 요구된다.

‘투명한 AI’를 구현한 TCAV를 통해 얼굴 인식 알고리즘을 사용하는 사람들은 알려진 범죄자의 데이터베이스에 대해 사람들을 매치 시키거나 직업 응용 프로그램을 평가할 때 얼마나 많이 고려했는지를 판단 할 수 있다. 사람들은 기계가 객관적이고 공평하다고 맹목적으로 믿지 않아도 된다. 신경망의 결론을 질문하고, 거부하고, 심지어 고칠 수있는 선택권을 가질 수 있다.

TCAV는 AI의 의사 결정 과정을 완전히 설명 할 수있는 도구는 아니다. 킴은 완전한 설명은 비효율적이며 불필요하다고 지적한다. 오히려 잠재적 문제를 일으키고 무언가가 잘못되었을 수도 있다는 것을 사람들에게 알려주는 무언가를 갖는 것으로 충분하다.

현재까지 AI모델은 해석 가능성을 고려하지 않은 채 중요한 목적에 사용되고 있다. TCAV는 이 모델을 대체·보완하는 의미를 가진다.

그동안 AI 훈련 데이터의 편향성 제거와 설명 가능성은 인공지능 서비스를 확대하기위한 과제였다.

지난해 말 IBM은 기존 AI 모델이 일부 편향된 데이터에 근거해 잘못된 결과를 도출하는 문제 해결을 위해 개방형 기술 검증 플랫폼 ‘AI 오픈스케일(AI OpenScale)’을 도입하기도 했다.

‘AI 오픈스케일’은 AI가 가지고 있는 블랙박스 같은 불확실성을 제거, 기업의 AI 도입을 촉진하기 위한 플랫폼이다. AI가 인사이트를 도출하는 의사결정 과정을 투명하게 하기 위한 대안의 하나다.

한편, IBM은 AI설계에 사용되는 복잡한 심층신경망을 자동으로 구축하는 ‘뉴넷S(NeuNetS)’ 신경망 합성 엔진을 지난 12월 출시했다. ‘AI를 구축하는 AI’로 불리는 ‘뉴넷S(NeuNetS)’는 AI 개발을 자동화하는 기술이다. 특정 데이터세트에 대한 맞춤형 AI모델을 데이터 과학자보다 짧은 시간에 자동으로 설계하고, 이를 트레이닝 시킬 수 있다는 설명이다.