한국 NPU 스타트업 ‘2세대 승부사’ 서사 한계

추론칩 시장 현실과 K AI반도체 구조적 한계

최근 몇년간 K-NPU(신경망처리장치) 가 엔비디아 GPU를 대체할 거라는 말들이 업계를 중심으로 제대로된 검증없이 쏟아져나왔다. 낮은 전력 소비와 높은 가성비를 앞세운 국내 팹리스 업체들이 글로벌 추론칩 시장에서 ‘2세대 승부수’라는 장미빛 전망 이다. 그러나 현실 데이터는 그보다 훨씬 냉혹하다. 추론칩 시장은 이미 미국 빅테크들의 수직 계열화가 완성 단계에 접어들었다. GPU 이후 추론칩 시장이 성장한다고 해도 한국 팹리스가 비집고 들어갈 공간은 현저히 좁다.

“GPU 잡는 NPU”? 판은 이미 짜였다

이들이 놓친 가장 중요한 팩트는, 엔비디아 독주를 위협하는 세력이 한국 스타트업이 아니라 미국 클라우드 3사(CSP)라는 점이다. 구글은 2025년 11월 자체 추론 전용 칩 ’아이언우드(Ironwood)’를 출시하며 데이터센터 전력 효율을 대폭 끌어올렸다. AWS는 같은 해 12월 ’트레이니움3(Trainium3)’로 자체 AI 생태계를 사실상 완성했고, 마이크로소프트는 2026년 1월 ’마이아 200(Maia 200)’을 선보이며 오픈AI 모델에 최적화된 추론 인프라를 내재화했다.

이 세 기업의 공통점은 ‘칩’만 만드는 것이 아니라는 데 있다. 데이터센터 설계, 소프트웨어 스택, 모델 최적화까지 수직으로 통합한 체계 속에서 자체 칩을 운용한다. 추론칩 시장은 단순히 ‘어느 칩이 더 빠른가’의 경쟁이 아니라, [데이터센터 + 소프트웨어 + 칩]을 모두 보유한 기업들이 점유율을 나눠 갖는 구조적 싸움이다. 현재 데이터센터 기준 시장 점유율은 미국 기업들이 80~90%를 차지하는 반면, 한국 스타트업의 점유율은 1%에도 미치지 못한다.

TFLOPS로 넘기힘든 15년 ‘CUDA벽’

국내 언론들은 팹리스 업체 주장을 받아 NPU 전력 효율과 비용 경쟁력을 핵심 무기로 제시한다. 그러나 실제 산업 현장에서 기업들이 칩을 선택할 때 첫 번째 기준은 성능 수치가 아니라 ‘생태계 호환성’이다.

엔비디아 CUDA는 단순한 가속 소프트웨어가 아니다. 지난 15년간 전 세계 AI 개발자들이 쌓아 올린 라이브러리, 프레임워크, 튜닝 노하우의 총체다. 글로벌 AI 개발자의 90% 이상이 CUDA 기반 환경에서 작업하며, 수년간 최적화된 코드베이스를 보유하고 있다. 국내 NPU가 전력 소비를 절반으로 줄인다 해도, 기존 코드를 전면 재작성해야 하는 ’전환 비용(Switching Cost)’을 감수할 기업은 현실적으로 많지 않다.

미국 스타트업 에치드(Etched)는 이 문제를 정면 돌파하는 방식으로 대응하고 있다. CUDA 호환을 우회하는 대신, 트랜스포머 아키텍처 전용 하드웨어를 설계해 구조적 우위를 확보하는 전략이다. 생태계를 바꾸려 하지 않고, 특정 모델 구조에 최적화된 별도 시장을 창출하는 셈이다. 하드웨어 전략의 정교함에서도 한국은 미국 AI 칩 업체들에 뒤쳐지는 상황이다.

자본·기술·생태계: 삼중 격차

한국 NPU 스타트업들의 시리즈 투자 규모는 수천억 원 수준이다. 반면 미국 빅테크들은 단일 모델 개발 혹은 칩 설계 프로젝트에 수조 원을 투입한다. R&D 체급 자체가 다르다. 소프트웨어 측면에서도 미국은 CUDA와 오픈소스 컴파일러 트리톤(Triton)을 기반으로 촘촘한 개발 환경을 이미 갖춘 반면, 한국 스타트업들은 자체 SDK를 개발하는 초기 단계에 머물러 있다.

기술 격차의 또 다른 축은 인터커넥트다. 최신 대형언어모델(LLM)은 단일 칩 하나로 구동할 수 없다. 수만 개의 칩을 고속으로 연결하는 NVLink 같은 초고속 인터커넥트 기술이 필수적이며, 이 분야에서 미국 기업과의 기술 격차는 최소 3~5년으로 평가된다. 소프트웨어 최적화를 통해 하드웨어의 열위를 극복하는 능력 또한, 딥시크(DeepSeek) 사례에서 드러났듯 미국과 중국이 주도하고 있다.

장미빛 전망과 냉혹한 현실 사이

한국 NPU 스타트업들의 기술력과 도전 자체를 부정할 이유는 없다. 에지 AI, 온디바이스 추론, 특정 버티컬 시장에서 의미 있는 틈새는 분명히 존재한다. 문제는 ‘2세대 승부사’라는 서사가 그 틈새를 실제보다 훨씬 크게 포장하고 있다는 점이다.

추론칩 시장에서 한국이 실질적 플레이어로 자리 잡기 위해서는 칩 성능 수치를 높이는 것만으로는 부족하다. CUDA 생태계에 대한 현실적 대안, 인터커넥트 기술력 확보, 그리고 빅테크의 수직 계열화가 닿지 않는 특정 세그먼트를 정밀하게 공략하는 전략이 함께 요구된다. 희망적인 서사는 산업의 동력이 될 수 있지만, 그것이 냉혹한 시장 현실을 가릴 때는 오히려 해가 된다. 지금 한국 반도체 산업에 필요한 것은 맹목적 지원이나 거품 부풀리기가 아니라 정확한 현실 파악이다.