GPU보다 데이터 이동이 문제…온디바이스 AI 겨냥한 새 칩 설계
CONVOLVE 프로젝트, RISC-V·AI 가속기·메모리 중심 연산 통합
인공지능 반도체의 경쟁 기준이 바뀌고 있다. 더 많은 연산을 처리하는 것만으로는 부족하다. 제한된 전력에서 필요한 AI 연산을 얼마나 효율적으로 수행하느냐가 중요해졌다.
네덜란드 아인트호벤공대(TU Eindhoven·TU/e)가 주도한 유럽 연구 프로젝트 CONVOLVE는 이 문제를 칩 설계 단계에서 접근했다. 연구진은 프로세서와 AI 가속기, 메모리, 회로를 별개의 계층으로 최적화하는 대신 처음부터 함께 설계하는 크로스레이어(cross-layer) 방식을 적용했다. 실제 프로토타입 칩을 제작해 AI 연산을 검증했다.
핵심은 연산 자체보다 데이터 이동을 줄이는 것이다.
AI 모델은 수많은 행렬 연산을 반복한다. 그러나 연산 장치가 빠르더라도 필요한 가중치와 데이터를 메모리에서 가져오고 다시 저장하는 과정이 반복되면 에너지와 시간이 소모된다. 이른바 메모리 병목(memory wall)이다.
이에 따라 최근 AI 반도체 연구에서는 데이터를 연산 장치로 이동시키는 대신 연산을 메모리에 가깝게 배치하거나 메모리 내부에서 직접 수행하는 방식이 빠르게 확대되고 있다. 2026년 연구들도 SRAM·DRAM·비휘발성 메모리를 활용한 compute-in-memory(CIM)와 in-memory computing(IMC)을 엣지 AI의 에너지 효율을 높이는 주요 방법으로 제시하고 있다.
“TU Eindhoven의 CONVOLVE 프로젝트는 RISC-V 프로세서와 AI 가속기, 메모리 중심 연산을 결합해 데이터 이동과 에너지 소비를 줄이는 엣지 AI 칩 설계를 개발했다.”
RISC-V와 전용 AI 가속기를 하나로
CONVOLVE가 주목받는 이유는 특정 AI 연산만 빠르게 만드는 전용 가속기와 범용 프로세서의 장점을 함께 가져가려 했다는 점이다.
프로토타입 구조에는 RISC-V 기반 프로세서와 신경망 가속기가 결합됐다. 관련 연구에서는 RISC-V CPU와 DNN 가속기, 온칩 RRAM을 결합해 신경망 가중치를 칩 내부에 저장하고 데이터 이동에 따른 에너지 비용을 줄이는 구조가 제시됐다.
RISC-V의 개방형 명령어 구조도 이런 설계에 유리하다. 필요한 AI 연산을 프로세서 명령어 수준에서 확장하고 특정 가속기와 결합할 수 있기 때문이다.
최근 엣지 AI 연구에서도 RISC-V 프로세서에 AI 전용 기능을 결합하는 방식이 등장하고 있다. 한 연구는 RISC-V 기반 TinyML 가속기를 통해 중간 결과를 별도 메모리에 저장하는 과정을 제거해 기존 계층별 실행 방식보다 데이터 이동을 최대 87% 줄이는 구조를 제안했다.
‘AI를 클라우드에서 꺼내는’ 반도체
이 같은 연구가 중요한 이유는 생성형 AI의 실행 위치가 바뀌고 있기 때문이다.
현재 대규모 AI 모델은 대부분 데이터센터의 GPU와 AI 가속기에서 실행된다. 하지만 스마트폰과 노트북, 자동차, 로봇, 스마트홈 기기에서는 네트워크를 통해 데이터를 클라우드로 보내지 않고 기기 내부에서 AI를 처리하려는 수요가 커지고 있다.
온디바이스 AI는 네트워크 지연을 줄일 수 있고 개인정보를 외부 서버로 전송하지 않아도 된다. 다만 스마트폰은 데이터센터와 달리 전력과 발열, 메모리 용량에 강한 제약이 있다.
따라서 모바일 AI에서는 최고 성능보다 성능 대비 전력효율이 중요하다.
2026년 AI 하드웨어 에너지 효율을 비교한 체계적 연구도 GPU·TPU·NPU를 대상으로 LLM 시대의 추론 단계 에너지 소비를 주요 평가 기준으로 제시했다.
컴퓨트-인-메모리로 이어지는 경쟁
CONVOLVE의 접근은 최근 AI 반도체 연구의 큰 흐름과 맞닿아 있다.
2026년 9월 발표된 RACE-AIMC 연구는 아날로그 컴퓨트-인-메모리(AIMC)를 이용해 메모리 배열 안에서 신경망 연산을 수행하는 구조를 다뤘다. 연구진은 실제 메모리 소자의 오차와 노이즈를 고려하면서 필요한 경우에만 일부 가속기를 활성화하는 방식을 제안했다. 시뮬레이션에서는 기존 방식보다 에너지 사용량을 69% 줄일 수 있다고 보고했다.
또 다른 2026년 연구에서는 여러 형태의 메모리와 연산 유닛을 결합한 이기종 compute-in-memory 구조가 LLM 추론의 에너지 효율을 높일 수 있다는 결과가 제시됐다. 다만 이러한 수치는 시뮬레이션이나 특정 하드웨어 조건에서 나온 결과가 많아 상용 칩의 실제 성능과 직접 비교해서는 안 된다.
이는 중요한 차이다. AI 반도체에서 TOPS/W 수치가 높다는 사실만으로 스마트폰용 칩의 경쟁력이 결정되는 것은 아니다.
모델의 정확도와 메모리 용량, 소프트웨어 호환성, 열 설계, 제조 수율, 패키징, 실제 애플리케이션에서의 지연시간까지 함께 검증해야 한다.
스마트폰용 AI 칩까지는 아직 거리 있다
CONVOLVE의 성과를 곧바로 상용 스마트폰용 AI 칩의 등장으로 해석하기는 어렵다.
이번 연구의 중요한 성과는 실제 칩을 제작해 설계 개념을 검증했다는 데 있다. 그러나 스마트폰 SoC로 상용화하려면 대량생산과 수율, 전력관리, 보안, 소프트웨어 생태계, 다양한 AI 모델에 대한 호환성 등을 추가로 해결해야 한다. TU/e 역시 이번 연구를 데이터가 생성되는 장소에서 AI를 처리하는 엣지 컴퓨팅 기술의 진전으로 설명하고 있다.
특히 생성형 AI에서는 문제가 더 복잡하다.
LLM은 단순한 이미지 분류 모델보다 훨씬 많은 메모리를 요구한다. 모델 가중치뿐 아니라 추론 과정에서 발생하는 KV 캐시와 중간 데이터도 처리해야 한다. 결국 스마트폰에서 대형 AI 모델을 실행하려면 연산 효율뿐 아니라 메모리 구조 자체가 달라져야 한다.
AI 반도체의 경쟁 기준은 ‘TOPS’에서 ‘유용한 연산당 에너지’로
AI 반도체 시장에서 GPU와 NPU, ASIC의 경쟁은 당분간 계속될 전망이다.
그러나 엣지 AI에서는 데이터센터와 같은 방식으로 연산량을 계속 늘리기 어렵다. 배터리와 발열이라는 물리적 한계가 있기 때문이다.
이에 따라 차세대 AI 칩은 △데이터 이동 최소화 △메모리와 연산의 통합 △저정밀 연산 △동적 전력관리 △전용 AI 가속기 △범용 프로세서의 프로그래머블성을 동시에 확보하는 방향으로 움직이고 있다.
CONVOLVE의 접근도 같은 흐름에 있다. AI 칩의 다음 경쟁은 더 많은 연산 유닛을 넣는 것이 아니라 필요한 데이터를 필요한 위치에 두고, 필요한 만큼만 계산하는 구조를 만드는 것이다.
이 변화가 현실화되면 AI 데이터센터에서만 가능했던 일부 AI 기능이 노트북과 스마트폰, 자동차, 로봇으로 이동할 수 있다.
