AI 신경망, 심층학습 가속과 신뢰수준 제시

“심층 증거 회귀(deep evidential regression)”라는 새로운 접근 방식은 심층학습(deep learning) 프로세스를 가속화하고 더 안전한 결과로 이어질 수 있다.

MIT와 하버드 대학 연구팀은 인공 신경망(AI Neural Network)이 데이터를 처리하는 빠른 방법을 개발하고 예측뿐만 아니라 사용 가능한 데이터의 품질을 기반으로 모델의 신뢰 수준도 제시했다.

MIT 컴퓨터 과학 및 인공 지능 연구소(CSAIL) 다니엘라 루스(Daniela Rus) 교수 그룹 박사 과정 알렉산더 아미니(Alexander Amini)는 “우리는 고성능 모델을 보유 할 뿐만 아니라 이러한 모델을 신뢰할 수 없는 경우를 이해할 수 있는 능력이 필요하다”고 말했다.

루스 교수는 “이 아이디어는 중요하고 광범위하게 적용 가능하다. 학습된 모델에 의존하는 제품을 평가하는 데 사용할 수 있다. 학습된 모델의 불확실성을 추정함으로써 모델에서 예상 할 수 있는 오류의 양과 누락 데이터가 모델을 개선할 수 있는 방법도 알 수 있다”고 설명했다.

연구는 다음 달 NeurIPS 컨퍼런스에서 발표할 예정이다.

심층학습은 다양한 작업에서 놀라운 성능을 보여주었다. 검색 결과, 소셜 미디어 피드 및 얼굴 인식 등 어떤 경우에는 인간의 정확성을 능가하는 경우도 있다.

연구팀은 그동안 해결하지 못했던 한 가지, 이러한 모델이 언제 틀렸는지 알고 알려주는 방법에 관심이 있었다. 신경망은 방대하며 때로는 수십억 개의 매개 변수로 가득하다. 따라서 신뢰 수준은 말할 것도 없고 답을 얻는 것만으로도 계산량이 증가할 수 있다.

신경망의 불확실성 분석은 새로운 것이 아니다. 그러나 베이지안 딥러닝에서 비롯된 이전 접근 방식은 신경망의 신뢰도를 이해하기 위해 여러 번 신경망을 실행하거나 샘플링 하는 데 의존했다. 이 프로세스에는 시간과 메모리가 필요했다.

연구자들은 단 한 번의 신경망 실행만으로 불확실성을 추정하는 방법을 고안했다. 그들은 대량의 출력으로 네트워크를 설계, 결정뿐만 아니라 그 결정을 뒷받침하는 증거를 포착하는 새로운 확률 분포도 생성했다. 증거 분포라고 하는 이러한 분포는 예측에 대한 모델의 신뢰도를 직접적으로 포착한다. 여기에는 기본 입력 데이터와 모델의 최종 결정에 존재하는 불확실성이 포함된다. 이를 통해 신경망 자체를 조정, 불확실성을 줄일 수 있는지 또는 입력 데이터에 잡음이 있는지를 알 수 있다.

신뢰도

접근 방식 테스트하기 위해 연구원들은 어려운 컴퓨터 비전 작업으로 시작했다. 그들은 단안 컬러 이미지를 분석하고 각 픽셀의 깊이 값(즉, 카메라 렌즈로부터의 거리)을 추정하도록 신경망을 훈련했다. 자율 주행 차량은 유사한 계산을 사용해 보행자 또는 다른 차량과의 근접성을 추정할 수 있다.

네트워크의 성능은 이전의 최첨단 모델과 동일하게 유지하면서 자체 불확실성을 추정할 수 있게 됐다. 연구원들이 기대했던 대로 네트워크는 잘못된 심도를 예측하는 픽셀에 대해 높은 불확실성을 예상했다.

교정을 스트레스 테스트하기 위해 팀은 또한 네트워크가 더 높은 불확실성을 예상한다는 것을 보여주었다.

네트워크는 사진이 언제 처리되었는지도 알고 데이터 조작 공격에 대비할 수 있다. 또 다른 실험에서 연구원들은 네트워크에 제공한 이미지 배치에서 적대적 노이즈 수준을 높였다. 그 효과는 미묘하여 인간의 눈으로는 거의 인식할 수 없었지만 네트워크는 이러한 이미지를 스니핑하여 출력에 높은 수준의 불확실성을 표시했다. 위조 데이터에 대한 경보를 울리는 이 기능은 딥 페이크 시대 적대적 공격을 탐지하고 저지하는 데 도움이 될 수 있다.

심층 증거 회귀는 AI 지원 의사 결정의 안전성을 향상시킬 수 있다. 연구에 이러한 [신경망] 모델이 잠재적으로 생명을 위협하는 결과를 초래할 수있는 위험이나 불확실성을 미리 알릴 수 있다. 교차로에 접근하는 자율 주행 차량과 같은 위험한 시나리오에서 보다 보수적 의사 결정을 내리는 데 활용 가능 하다.

연구는 NSF(National Science Foundation), Toyota-CSAIL 공동 연구 센터에서 지원했다.