KAIST 연구팀이 인공지능의 실시간 학습을 모바일 기기에서 구현, 고정확도 인공지능(AI) 반도체를 세계 최초로 개발했다.
연구팀이 개발한 인공지능 반도체는 저비트 학습과 저지연 학습 방식을 적용해, 모바일 기기에서도 학습할 수 있다. 특히 이번 반도체 칩은 인공지능의 예상치 못한 성능 저하를 막을 수 있는 실시간 학습 기술을 성공적으로 구현했다.
KAIST는 전기및전자공학부 한동현 박사과정이 제1 저자로 참여한 이번 연구는 지난 6월 12일부터 15일까지 인천 연수구 송도 컨벤시아에서 개최된 국제 인공지능 회로 및 시스템 학술대회(AICAS)에서 발표, 최우수 논문상과 최우수 데모상을 수상했다고 23일 밝혔다.
인공지능 (AI) 반도체 기술을 망라하는 국제 학술 대회 ‘AICAS 2022’는 인공지능 반도체 분야 세계 최고 권위를 가진 IEEE(미국 전기 전자 기술자 협회)학회다.
기존 인공지능은 사전에 학습된 지능만으로 추론을 진행했기 때문에 학습하지 않은 새로운 환경 혹은 물체에 대해서는 물체 검출이 어려웠다. 하지만 유회준 교수 연구팀이 개발한 실시간 학습은 추론만 수행하던 기존 모바일 인공지능 반도체에 학습 기능을 부여함으로써, 인공지능의 지능 수준을 크게 끌어올렸다.
KAIST 전기및전자공학부 유회준 교수 연구팀은 새로운 인공지능 반도체는 사전에 학습한 지식과 애플리케이션 수행 중에 학습한 지식을 함께 활용해 고정확도 물체검출 성능을 보였다.
연구팀은 렌즈가 깨지거나, 기계 오류로 인한 인공지능의 예상치 못한 정확도 감소도 자동으로 인지하고 이를 실시간 학습을 통해 보정, 기존 인공지능의 문제점을 해결했다.
실시간 학습 기능에 더해, 모바일 기기에서 저전력으로 학습이 가능할 수 있도록, 저비트 인공지능 학습 방법, 직접 오류 전사 기반 저지연 학습 방식을 제안, 이를 최적화할 수 있는 반도체(HNPU) 와 응용 시스템을 모두 개발했다.
저전력, 실시간 학습을 수행할 수 있는 HNPU는 6가지 핵심 기술을 도입했다.
- ○ 확률적 동적 고정 소수점 활용 저비트 학습 방식 (SDFXP: Stochastic Dynamic Fixed-point Representation)
- – 동적 고정 소수점에 확률적 표현을 결합하고 확률적 반올림을 도입하여 인공지능 학습에 필요한 비트 정밀도를 최소화 할 수 있는 방법
- ○ 레이어별 자동 정밀도 검색 알고리즘 및 하드웨어 (LAPS: Layer-wise Adaptive Precision Scaling)
- – 학습의 난이도를 자동으로 파악하고 심층신경망의 레이어별로 최적의 비트수를 자동으로 찾아주는 알고리즘 및 이를 가속하는 하드웨어
- ○ 입력 비트 슬라이스 희소성 활용* (ISS: Input Slice Skipping or Bit-slice Level Sparsity Exploitation)
- – 데이터를 이진수로 표현했을 때 중간중간 나타나는 ‘0’ 비트를 활용하여, 데이터 처리량을 높이는 방식
- ○ 내재적 순수 난수 생성기 (iTRNG: Intrinsic True Random Number Generator)
- 인공지능 연산을 활용한 순수 난수 생성기를 설계, 데이터의 암호화 및 확률적 반올림을 구현
- ○ 다중 학습 단계 할당을 통한 고속 학습 알고리즘 및 하드웨어 (MLTA: Multi Learning Task Allocation & Backward Unlocking)
- 기존 역전파 (Back-propagation) 알고리즘에서 탈피해, 직접 오류 전사를 통한 저지연 학습 구현
- ○ 실시간 인공지능 학습 기반 자동 오류 검출 기능 저하 보정 시스템 개발 (Real-time DNN Training based Automatic Performance Monitor and Performance Recovery System)
- 평상시 물체 검출 결과를 주기적으로 모니터링하면서, 갑작스러운 확률 변화를 자동으로 인식, 정확도 저하를 보정하기 위해 실시간 학습을 적용
이러한 기술을 사용해 HNPU는 저전력 물체검출을 구현하여, 다른 모바일 물체검출 시스템과 비교해 75% 높은 속도, 44% 낮은 에너지 소모를 달성하면서도, 실시간 학습으로 고정확도 물체검출을 개발해 주목을 받았다.
연구팀은 HNPU의 활용 예시로 카메라 렌즈가 깨지거나, 기계 오류, 조명, 밝기 변화로 인공지능의 추론 능력이 떨어졌을 때, 실시간 학습을 통해 다시 정확도를 높이는 고정확도 물체검출 시스템을 개발했다. 이는 이후 자율 주행, 로봇 등 다양한 곳에 활용될 것으로 기대된다.
연구팀의 HNPU 연구는 2022 국제인공지능회로및시스템학술대회(AICAS 2022)에서 발표됐다.
KAIST 전기및전자공학부 유회준 교수는 “현재 인공지능은 사전에 학습한 지식만으로 주어진 문제를 해결하고 있으며, 이는 변화하는 환경과 상황에 맞춰 계속 학습하는 인간의 지능과 뚜렷한 차이를 보인다”라며 “이번 연구는 실시간 학습 인공지능 반도체를 통해 인공지능의 지능 수준을 사람 수준으로 한층 더 끌어올리는 연구”라고 본 연구의 의의를 밝혔다.
* 희소성 활용 (Sparsity Exploitation) : 심층 신경망 모델의 연산은 수많은 곱셈누적(MAC: Multiply-And-Accumulate)연산의 연속이다. 연산자에 0이 존재할 시, 굳이 연산을 해보지 않아도 결과는 0임을 알기에 이를 뛰어넘는 방식으로 연산 속도를 높이는 방식.
(논문명 : A 0.95 mJ/frame DNN Training Processor for Robust Object Detection with Real-World Environmental Adaptation (저자: 한동현, 임동석, 박광태, 김영우, 송석찬, 이주형, 유회준))
