구글, 차세대 추론 칩 ‘프로즌 v2’ 개발 착수

‘모델-반도체 공동 설계’로 AI 인프라 한계 도전

기존 TPU 라인업과 별개… “전력 대비 토큰 처리 효율 최대 10배 목표”

구글이 생성형 인공지능(AI) 모델 ‘제미나이(Gemini)’의 연산 효율을 극대화하기 위해, 모델의 구조적 특성을 반도체 설계 단계부터 직접 반영하는 새로운 개념의 차세대 AI 전용 칩 개발에 착수했다. 빅테크 기업들이 직면한 거대언어모델(LLM)의 천문학적인 운영 비용과 컴퓨팅 자원 병목 문제를 하드웨어와 소프트웨어의 ‘유기적 결합’으로 정면 돌파하겠다는 전략이다.

업계에 따르면 구글은 현재 내부적으로 ‘프로즌 v2(Frozen v2)’라는 프로젝트명 하에 서버용 차세대 AI 추론 칩을 개발 중이다. 이 프로젝트의 핵심은 제미나이 모델의 특정 구조와 고정된 정보(Weights) 일부를 칩의 하드웨어 실리콘 설계에 직접 각인하는 방식이다.

‘범용 가속기’에서 ‘모델 종속형 하드웨어’로의 전환

기존의 AI 인프라 시장은 엔비디아의 GPU나 구글의 TPU(Tensor Processing Unit)처럼 범용적으로 설계된 하드웨어 위에 다양한 소프트웨어 알고리즘과 모델을 구동하는 구조가 일반적이었다. 반면 구글이 구상하는 ‘프로즌 v2’는 특정 AI 모델의 연산 그래프와 데이터 흐름을 칩 내부에 최적화된 형태로 고정(Freeze)하는 접근법을 취한다.

이러한 모듈 및 가중치 고정 설계가 실현되면, AI 추론 과정에서 가장 큰 메모리 병목을 유발하는 데이터 이동량(Data Movement)을 획기적으로 줄일 수 있다. 즉, 연산 장치와 메모리 간의 병목 현상을 하드웨어 구조 차원에서 원천 차단하여 연산 지연 시간(Latency)을 최소화하고 전력 소모를 극적으로 낮추는 원리다.

구글은 이 칩의 목표 성능을 매우 공격적으로 설정했다. 내부 소식통에 따르면 프로즌 v2는 전력당 처리 가능한 AI 토큰 수를 기준으로 구글의 최신 맞춤형 AI 가속기보다 최소 6배에서 최대 10배에 달하는 효율을 내는 것을 목표로 하고 있다. 다만 현재는 하드웨어에 어느 수준까지 모델 정보를 고정하고 유연성을 남겨둘지 설계 조율 단계에 있는 것으로 알려졌다.

TPU 라인업과 투트랙 전략… 2028년 도입 검토

전문가들은 이번 프로젝트가 구글의 기존 범용 AI 전용 칩인 TPU 라인업을 대체하는 것이 아니라, 특정 고성능 서비스에 특화된 별도의 라인업을 구축하려는 움직임으로 보고 있다. 학습(Training) 단계에서는 다양한 실험과 유연성이 필요하므로 범용 TPU를 활용하고, 대규모 글로벌 서비스로 상용화된 제미나이의 추론(Inference) 단계에는 ‘프로즌 v2’를 투입해 대규모 비용 절감을 노리겠다는 포석이다.

실제로 구글은 제미나이 서비스를 고도화하고 검색 및 클라우드 전반에 적용하면서 기하급수적으로 늘어나는 컴퓨팅 비용 압박을 받아왔다. 자체 엔지니어링 역량을 바탕으로 칩을 직접 설계함으로써 엔비디아 의존도를 낮추는 것은 물론, 공급망 안정성과 비용 구조 개선을 동시에 달성하겠다는 계산이다. 구글은 이르면 2028년부터 해당 칩을 데이터 센터에 실제 배치하는 방안을 검토 중이다.

‘수직 통합 AI 인프라’ 경쟁의 서막

현재 AI 반도체 시장은 엔비디아가 GPU 기반 인프라로 주도권을 잡은 가운데, 마이크로소프트, 아마존, 메타 등 빅테크 기업들이 자체 가속기(ASIC) 개발에 뛰어들며 2차전에 돌입한 상태다.

만약 구글의 프로즌 v2 프로젝트가 성공적으로 안착할 경우, 향후 거대 AI 경쟁의 패러다임은 단순히 매개변수(Parameter)를 늘린 대형 모델 개발 경쟁을 넘어설 것으로 보인다. 모델 아키텍처와 실리콘 칩 설계를 동시 최적화(Co-design)하는 ‘수직 통합형 하드웨어-소프트웨어 생태계’ 경쟁이 향후 AI 패권의 향방을 가르는 핵심 지표가 될 전망이다.