소니는 단일 칩 하드웨어에 AI 처리 시스템이 내장된 이미지 센서를 공개했다.

이미지 센서와 AI 처리를 하나의 칩에 통합하는 아이디어는 개념상 상당간단하다. 휴대 전화 나 카메라에서 볼 수 있듯이 기존 CMOS 이미지 센서와 해당 픽셀에서 정보를 추출하는 기계 학습 모델을 운영하기 위해 구축된 로직 칩 위에 이를 구축했다.

그 결과 메인 로직 보드, GPU 또는 클라우드와 같은 다른 곳으로 사진을 보내기 전에 사진에 대해 많은 처리를 수행할 수 있는 단일 전자 어셈블리가 만들어진다. 기존에도 이미지 센서에는 픽셀을 정렬하고 JPEG로 압축하는 등의 일반적인 작업을 수행하는 프로세서가 있다. 그러나 몇 가지 일반적인 작업을 매우 빠르게 수행하는 데 중점을 둔다.

소니칩은 보다 정교한 프로세스와 출력을 수행 할 수 있다. 칩은 노출 대상 물체를 즉시 이를 분석할 수 있으며, 전체 이미지를 전송하는 대신 간단히 객체를 인식, 보고할 수 있다. 또한 사진의 모든 부분을 자르고 사진을 인식하고 보고하도록 지시 한 것과 같이 본질적으로 즉흥적으로 편집 할 수도 있다.

이러한 시스템의 장점은 데이터가 기본 장치의 저장 또는 처리에 들어가기 전에 불필요하거나 원치 않는 데이터를 버릴 수 있다는 것이다. 즉, 프로세서 전원을 적게 사용하면서 안전할 수 있다. 공공 장소의 카메라는 얼굴이나 번호판을 미리 흐리게 할 수 있다. 스마트 홈 장치는 이미지 데이터를 저장하거나 보내지 않고도 개인을 인식할 수 있다. 다중 노출을 병합해 카메라 시야의 열 또는 주파수 맵을 형성할 수 있다.

AI 프로세스가 통합된 칩에서 더 높은 전력 소비 또는 지연이 발생할 수
있지만 Xnor(Apple에서 최근 인수)와 같은 회사는 이러한 작업을 매우 빠르고 매우 저렴한 비용으로 수행할 수 있음을 보여주었다.

더 복잡한 프로세싱은 여전히 더 크고 강력한 칩이 필요하다. 현재 소니의 “인텔리전트 비전 센서”는 여전히 시제품일 뿐이며 테스트를 위해 주문할 수 있지만 양산 단계는 아니다.

소니는 세계 최고의 이미지 센서 제공 업체 중 하나이기 때문에 여러 형태의 기기로 활용될 가능성이 높다.