AI 반도체 중심 이동…삼성 zHBM, ‘온메모리 AI’ 시대로

HBM4부터 메모리는 단순 저장장치 넘어 시스템 반도체로 진화

4나노 파운드리·3D 패키징 기술이 차세대 AI 인프라 패권 결정

인공지능(AI) 시대의 반도체 경쟁 구도가 근본적으로 변하고 있다. 과거 AI 성능 경쟁의 중심이 GPU와 가속기였지만, 초거대 AI 모델이 등장하면서 데이터 이동 속도와 전력 효율을 결정하는 메모리 기술이 새로운 승부처로 떠오르고 있다.

삼성전자가 미국 캘리포니아주 산타클라라에서 열린 FMS(Future of Memory and Storage) 2026에서 공개한 차세대 3D 메모리 구조 ‘zHBM’과 ‘zNAND-O’는 이러한 변화의 상징으로 평가된다. 기존 HBM이 AI 가속기 주변에 배치되는 고성능 메모리였다면, zHBM은 메모리를 연산 장치와 직접 결합하는 구조로 진화시키며 AI 반도체 설계 패러다임 자체를 바꾸고 있다.

업계에서는 이번 발표를 단순한 HBM 세대교체가 아니라 메모리가 AI 시스템의 병목을 해결하는 핵심 연산 플랫폼으로 이동하는 신호탄으로 보고 있다.

AI 가속기 위로 올라간 메모리…삼성 zHBM이 제시한 새로운 구조

현재 AI 데이터센터에서 가장 큰 문제 중 하나는 연산 능력 자체가 아니라 GPU와 메모리 사이에서 발생하는 데이터 이동 병목이다. 최신 AI 모델은 수조 개의 매개변수를 처리하기 때문에 GPU 성능이 아무리 향상돼도 메모리 대역폭과 전력 효율이 따라오지 못하면 전체 시스템 성능이 제한된다.

삼성전자의 zHBM은 이 문제를 해결하기 위해 기존 수평형 메모리 구조에서 벗어나 수직형 3D 메모리 아키텍처를 적용했다.

기존 HBM은 GPU나 AI 가속기 옆에 배치된 뒤 실리콘 인터포저를 통해 데이터를 주고받는다. 반면 zHBM은 메모리를 AI 가속기 위쪽, 즉 z축 방향으로 직접 적층하는 구조를 채택한다. 데이터 이동 경로를 획기적으로 줄여 지연 시간을 낮추고 전력 소비를 줄이는 방식이다.

이 구조에서는 메모리와 연산 장치 사이의 물리적 거리가 최소화되면서 데이터 처리 효율이 크게 향상된다. 삼성은 차세대 시스템 기준으로 기존 구조 대비 데이터 처리 성능을 크게 높이고, 전력 대비 성능 효율과 열 관리 능력 역시 개선할 수 있다고 설명했다.

특히 zHBM의 핵심은 단순히 메모리를 쌓는 기술이 아니다. 메모리와 가속기 사이의 계층에 고객 맞춤형 IP를 삽입할 수 있어, 특정 AI 모델과 서비스에 최적화된 커스텀 AI 반도체 플랫폼 구현이 가능해진다.

이는 앞으로 AI 반도체 시장이 범용 GPU 중심에서 고객 맞춤형 AI 컴퓨팅 구조로 이동할 가능성을 보여준다.

HBM4 진짜 경쟁력은 ‘메모리’가 아니라 ‘파운드리 로직’

차세대 AI 메모리 경쟁에서 또 하나의 핵심 변수는 HBM4의 베이스 다이(Base Die) 기술이다.

HBM은 여러 개의 D램 층을 쌓아 올리는 구조지만, 가장 아래에 위치한 베이스 다이는 단순 연결 역할을 넘어 데이터 입출력과 제어 기능을 담당하는 일종의 로직 칩 역할을 한다.

HBM4 시대부터 이 베이스 다이는 기존 메모리 공정만으로는 한계가 있다는 분석이 나온다. 데이터 입출력 규모가 급격히 증가하고, AI 가속기와의 최적화가 중요해지면서 초미세 파운드리 공정이 필수 기술로 떠오르고 있기 때문이다.

HBM4는 기존 세대보다 훨씬 많은 입출력(I/O) 구조를 요구한다. 데이터 전송 통로가 두 배 수준으로 증가하면서 제한된 베이스 다이 공간 안에 고밀도 배선을 구현해야 한다. 이를 위해서는 일반 메모리 제조 공정보다 높은 수준의 배선 집적 기술과 저전력 로직 설계 능력이 필요하다.

또 다른 이유는 AI 고객사의 요구 변화다. 엔비디아를 비롯한 글로벌 AI 반도체 기업들은 단순히 고성능 메모리를 구매하는 것을 넘어, 자신들의 AI 모델과 소프트웨어에 최적화된 맞춤형 기능을 메모리 계층에 통합하려 하고 있다.

이 과정에서 필요한 것이 바로 파운드리 기술이다. 베이스 다이가 단순 메모리 제어 칩이 아니라 AI 연산 일부를 담당하는 ‘메모리 내 연산 플랫폼’으로 발전하고 있기 때문이다.

삼성 4나노 vs SK하이닉스·TSMC 연합…AI 메모리 패권 경쟁

HBM4 시대가 열리면서 글로벌 반도체 기업들의 전략도 갈리고 있다.

삼성전자는 메모리와 파운드리를 동시에 보유한 종합 반도체 기업이라는 점을 최대 강점으로 내세우고 있다. 메모리 설계부터 D램 생산, 첨단 로직 공정, 패키징까지 하나의 생태계 안에서 제공할 수 있기 때문이다.

삼성은 HBM4 베이스 다이에 첨단 파운드리 공정을 적용하는 전략을 통해 성능과 전력 효율에서 차별화를 노리고 있다. 특히 4나노급 로직 공정과 최신 D램 기술을 결합해 AI 데이터센터 고객에게 ‘턴키(turn-key)’ 솔루션을 제공한다는 구상이다.

반면 SK하이닉스는 다른 전략을 선택했다. 세계 최대 파운드리 기업인 TSMC와 협력해 HBM4 경쟁력을 강화하는 방식이다.

SK하이닉스는 HBM 시장에서 이미 강력한 경쟁력을 확보하고 있지만, 베이스 다이의 첨단 로직 공정에서는 외부 파트너십이 필요하다. 이에 따라 TSMC와의 협력을 통해 차세대 HBM 플랫폼 경쟁에 대응하고 있다.

결국 앞으로의 AI 메모리 시장은 단순히 누가 더 많은 D램을 생산하느냐가 아니라, 누가 더 뛰어난 메모리·파운드리·패키징 통합 기술을 제공하느냐의 경쟁으로 변화할 전망이다.

메모리, AI 시스템 ‘저장 공간’이 아니라 ‘연산 플랫폼’

삼성의 zHBM과 HBM4 경쟁은 반도체 산업의 구조적 변화를 보여준다. 과거 메모리는 CPU와 GPU를 보조하는 저장 장치였다. 그러나 생성형 AI 시대에서는 데이터를 얼마나 빠르게 이동시키고 처리하느냐가 성능을 결정하면서 메모리 자체가 시스템 경쟁력의 중심으로 이동하고 있다.

앞으로 AI 반도체 시장에서는 GPU 성능뿐 아니라 메모리 구조, 패키징 기술, 초미세 공정, 맞춤형 IP 통합 능력이 모두 중요한 경쟁 요소가 될 전망이다.

zHBM이 보여준 3D 메모리 혁신과 HBM4의 파운드리 경쟁은 단순한 기술 업그레이드가 아니다. 이는 AI 시대 반도체의 주도권이 ‘연산 칩’에서 ‘연산과 메모리가 결합된 통합 플랫폼’으로 이동하고 있음을 보여주는 신호다.

차세대 AI 인프라 시장의 승자는 더 강력한 GPU를 만드는 기업이 아니라, 데이터를 가장 빠르고 효율적으로 움직이는 새로운 반도체 구조를 만드는 기업이 될 가능성이 높다.