AI 반도체, 양자 터널링 트렌지스터 돌파구

AI 병목, 트랜지스터 미세화로는 역부족

AI 반도체 다음 경쟁은 ‘시스템’과 ‘소자’

인공지능(AI) 반도체의 경쟁이 새로운 국면으로 들어가고 있다. 지금까지 반도체 성능 향상은 트랜지스터를 더 작게 만들고 더 많은 소자를 집적하는 방식으로 진행됐다. 그러나 미세화가 한계에 접근하면서 단순한 크기 축소만으로는 전력 소모와 발열, 스위칭 속도 문제를 동시에 해결하기 어려워지고 있다.

이런 가운데 홍콩 폴리테크닉대(PolyU) 연구팀이 기존 트랜지스터의 물리적 한계를 넘어서는 것을 목표로 2차원(2D) 소재 기반 양자 터널링 전계효과 트랜지스터(quantum tunneling field effect transistor, TFET)를 구현했다. 연구 결과는 과학저널 Science에 게재됐다. 연구팀은 기존 실리콘 트랜지스터가 가진 스위칭 한계를 피하면서 낮은 전압에서 전류를 제어할 수 있는 소자를 실험적으로 구현했다.

이번 연구가 주목받는 이유는 새로운 트랜지스터 하나가 기존 CPU나 GPU를 곧바로 대체하기 때문이 아니다. 핵심은 AI 연산량이 폭증하는 상황에서 트랜지스터 한 개가 소비하는 에너지를 근본적으로 낮출 수 있는 새로운 소자 물리학을 실제 장치로 입증했다는 데 있다.

60mV의 벽을 넘은 터널링 트랜지스터

현재 디지털 반도체의 기본 소자인 MOSFET은 게이트 전압을 이용해 전자의 흐름을 켜고 끄는 방식으로 작동한다. 상온에서 기존 MOSFET의 스위칭 특성은 이른바 볼츠만 한계(Boltzmann limit)의 영향을 받는다.

대표적인 지표가 서브스레시홀드 스윙(SS)이다. 일반적인 MOSFET은 상온에서 이론적으로 약 60mV/decade 이하로 낮추기 어렵다. 트랜지스터를 더 낮은 전압에서 작동시키려고 해도 열에너지에 따른 전하 운반자의 분포 때문에 일정한 물리적 한계가 존재하기 때문이다.

AI 반도체에서는 이 문제가 더욱 중요하다.

대규모 AI 모델은 막대한 수의 연산을 수행하고, 데이터센터에서는 수천~수십만 개의 가속기가 동시에 작동한다. 개별 연산의 에너지 소비가 작더라도 전체 연산 규모가 커지면 전력과 발열이 빠르게 증가한다.

따라서 반도체 업계가 찾고 있는 것은 단순히 더 빠른 트랜지스터가 아니라 같은 연산을 더 낮은 전력으로 수행할 수 있는 소자다.

PolyU 연구팀은 이 문제를 전자가 장벽을 넘어가는 기존 방식이 아니라 양자 터널링을 이용해 통과하도록 만드는 방식으로 접근했다.

비스무트와 인듐 셀레나이드 2D 이종구조

연구팀이 선택한 소재는 비스무트(Bi)와 인듐 셀레나이드(InSe)다.

두 소재를 원자층 수준의 초박막 이종구조로 구성해 전자가 양자역학적 터널링을 통해 이동하도록 설계했다. 연구팀은 펄스 레이저 증착법(PLD)을 이용해 Bi와 InSe의 초박막 층을 형성했다.

특히 흥미로운 부분은 비스무트의 물성이 2차원 구조에서 달라진다는 점이다. 연구팀은 이를 이용해 전하가 터널링하기에 적합한 에너지 밴드 정렬을 만들었다.

결과적으로 전자가 충분한 열에너지를 얻어 장벽을 넘어야 하는 기존 MOSFET과 달리, 터널링을 이용해 더 낮은 전압에서 전류를 제어할 수 있는 구조를 구현했다.

기존 MOSFET보다 훨씬 낮은 게이트 전압

실험 결과에서 가장 눈에 띄는 부분은 스위칭 특성이다.

PolyU 연구팀의 Bi/InSe TFET는 60mV/decade의 기존 열적 한계보다 낮은 SS를 상온에서 구현했다. 이러한 특성이 약 6자릿수의 전류 범위에서 관찰됐다는 것이 연구팀의 설명이다.

게이트 전압 범위도 약 160mV에 불과했다. 연구팀은 이를 첨단 MOSFET에 필요한 약 800mV 수준과 비교했다.

단순히 전압을 낮춘 것만으로는 실용적인 트랜지스터가 될 수 없다. 전류가 충분히 흘러야 하고 ON 상태와 OFF 상태의 차이도 커야 한다.

이번 연구에서는 이 부분도 개선됐다. 소자는 마이크로미터당 수 마이크로암페어 수준의 출력 전류와 높은 ON/OFF 전류비를 동시에 보였다고 연구팀은 밝혔다. 이는 기존 TFET 연구에서 반복적으로 제기됐던 낮은 구동 전류 문제를 개선하려는 중요한 결과다.

왜 AI 반도체와 연결되는가

이번 연구를 AI 반도체와 연결하는 이유는 명확하다.

AI 연산에서는 하나의 대형 연산 장치보다 수많은 트랜지스터가 동시에 동작한다. GPU와 AI 가속기 내부의 연산 유닛이 늘어날수록 전력 소모와 발열은 시스템 성능을 제한하는 요인이 된다.

현재 AI 반도체 업계는 이를 해결하기 위해 HBM, 첨단 패키징, 칩렛, 광인터커넥트 등 시스템 수준의 기술을 발전시키고 있다. 그러나 아무리 데이터 이동 효율을 개선해도 연산을 담당하는 트랜지스터 자체가 소비하는 에너지를 줄이지 못한다면 한계가 남는다.

TFET가 주목받는 이유가 여기에 있다.

트랜지스터의 스위칭 자체에 필요한 전압을 낮출 수 있다면 연산 장치의 동작 전압과 에너지 소비를 줄일 가능성이 있다. PolyU 연구팀 역시 이번 소자가 에너지 효율이 중요한 차세대 집적회로와 AI 칩의 기반 기술로 활용될 수 있다고 설명했다.

다만 이를 곧바로 ‘차세대 AI GPU가 터널링 트랜지스터로 바뀐다’고 해석하는 것은 과도하다.

이번 연구는 새로운 소자의 물리적 가능성을 실험적으로 보여준 단계다. 실제 AI 프로세서에 적용하려면 대규모 집적, 균일성, 신뢰성, 접촉저항, 열 안정성, 제조 수율 등 훨씬 많은 과제를 해결해야 한다.

2D 소재가 중요한 이유

이번 연구에서 또 하나의 핵심은 터널링 현상 자체뿐 아니라 2차원 소재를 이용했다는 점이다.

2D 소재는 원자층 수준까지 얇게 만들 수 있기 때문에 짧은 채널을 가진 미래 트랜지스터에서 전기적 제어력을 높일 가능성이 있다. 또한 서로 다른 2D 소재를 층층이 쌓아 새로운 밴드 구조를 설계할 수 있다는 장점이 있다.

PolyU 연구팀은 특히 PLD를 이용해 센티미터 크기의 실리콘 기판 위에서 소자를 제작했다는 점을 강조한다. 이는 실험실에서 작은 플레이크를 옮겨 제작하는 방식에서 벗어나 실리콘 기반 제조공정과 연결될 가능성을 보여주는 부분이다.

하지만 이것 역시 ‘웨이퍼 양산이 이미 가능하다’는 의미는 아니다.

2D 소재의 대면적 균일성, 계면 결함, 소재 안정성, 금속 접촉, 공정 온도와 기존 CMOS 공정의 호환성은 여전히 해결해야 할 문제다. 2D 트랜지스터가 연구실 수준의 성능을 넘어 실제 반도체 생산라인에 들어가기 위해서는 소재뿐 아니라 제조공정 전체의 재설계가 필요하다.

‘포스트 CMOS’ 경쟁의 새로운 후보

이번 연구의 의미는 TFET가 갑자기 기존 CMOS를 대체한다는 데 있지 않다.

오히려 중요한 것은 반도체 산업이 CMOS 미세화 이후를 준비하는 방식이 다양해지고 있다는 사실이다.

터널링 트랜지스터 외에도 2D 소재 트랜지스터, 나노시트, 게이트올어라운드(GAA), 나노와이어, 뉴로모픽 소자, 스핀 기반 소자 등이 차세대 반도체 후보로 연구되고 있다.

그중 TFET는 기존 CMOS와 다른 방식으로 스위칭의 물리적 한계를 돌파하려는 접근이다. PolyU 연구팀을 포함한 연구진은 이미 TFET를 차세대 저전력 소자의 주요 후보 가운데 하나로 연구해왔다. 2025년 발표된 TFET 관련 리뷰에서도 터널링 소자는 CMOS 이후의 저전력 트랜지스터 후보로 지속적으로 연구되고 있는 것으로 정리됐다.

AI 반도체 다음 경쟁은 ‘시스템’과 ‘소자’

최근 AI 반도체 경쟁에서는 GPU와 NPU의 연산 성능, HBM 대역폭, 첨단 패키징, 데이터센터 네트워크가 집중적으로 주목받고 있다.

그러나 AI 연산량이 계속 증가하면 결국 가장 아래 단계인 트랜지스터의 에너지 효율까지 다시 문제가 된다.

이 때문에 AI 반도체의 진화는 한 방향으로 진행되지 않을 가능성이 높다.

상위 시스템에서는 광통신과 CPO가 데이터 이동에 필요한 에너지를 줄이고, 패키징에서는 칩렛과 3D 적층이 집적도를 높이며, 메모리에서는 HBM이 데이터 공급 능력을 확대한다. 그리고 가장 아래의 소자 단계에서는 2D 소재와 터널링 같은 새로운 물리 원리가 트랜지스터의 에너지 효율을 높이는 방식이다.

결국 미래 AI 반도체는 더 많은 트랜지스터를 집어넣는 경쟁에서, 각각의 트랜지스터와 메모리·네트워크가 소비하는 에너지를 얼마나 줄이느냐의 경쟁으로 이동할 가능성이 크다.

아직은 ‘돌파구’, 실험적 성과

PolyU의 이번 연구는 이 과정에서 의미 있는 이정표다. 특히 상온에서 60mV/decade라는 MOSFET의 열적 한계를 넘는 스위칭 특성을 2D Bi/InSe 이종구조에서 구현하고, 낮은 게이트 전압과 높은 ON/OFF 비율을 함께 확보했다는 점에서 기존 TFET의 약점을 보완하려는 실험적 성과로 평가할 수 있다.

그러나 AI 반도체 시장에서 실제 경쟁력을 확보하려면 연구실 성능과 양산 성능 사이의 간극을 넘어야 한다.

특히 수십억 개의 트랜지스터가 들어가는 현대 반도체에서 중요한 것은 개별 소자의 기록적인 성능보다 수율과 균일성, 신뢰성, 제조비용, 기존 CMOS와의 통합 가능성이다.

따라서 이번 연구를 가장 정확하게 표현한다면 ‘AI 칩의 새로운 상용 트랜지스터가 등장했다’기보다는 AI 시대의 전력 문제를 해결하기 위한 포스트-CMOS 소자 경쟁에서 양자 터널링과 2D 소재의 가능성을 한 단계 끌어올린 실험적 성과라고 보는 것이 적절하다.

AI 데이터센터의 경쟁이 전력과 광통신을 넘어 결국 트랜지스터 자체의 에너지 효율로 내려갈수록, 이런 연구의 전략적 의미도 커질 수밖에 없다.

AI 반도체의 다음 질문은 얼마나 많은 연산을 할 수 있느냐가 아니라, 그 연산을 얼마나 적은 에너지로 수행할 수 있느냐가 될 가능성이 높다. 그리고 그 답의 후보 가운데 하나가 기존 실리콘 CMOS와는 다른 방식으로 전류를 제어하는 ‘양자 터널링’이다.