하버드·앤스로픽·퀘라, AI로 양자회로 최적화…연산 자원 최대 9,100배 절감

클로드 AI로 양자 시뮬레이션 및 자원 추정 기반 양자 회로 최적화 성과

미국 하버드대학교(Harvard University)와 앤스로픽(Anthropic), 양자컴퓨팅 기업 퀘라 컴퓨팅(QuEra Computing) 연구진이 대규모 언어모델(LLM)을 활용해 오류 허용 양자회로를 자동으로 설계하고 최적화하는 AI 프레임워크를 개발했다.

15일 출판전논문 사이트 아르시브(arxiv)에 공개된 연구에 따르면, AI가 생성한 양자회로는 기존 전문가들이 설계한 회로와 비교해 주요 연산 작업의 시공간 자원 비용을 최소 4.1배에서 최대 9,100배 이상 줄였다.

이번 연구는 ‘대규모 언어모델을 활용한 최첨단 양자회로 발견(Discovering State-of-the-Art Quantum Circuits with Large Language Models)’논문과 앤스로픽 기술 발표를 통해 공개됐다. 핵심은 LLM이 양자회로를 구현하는 파이썬 프로그램을 제안하면, 별도의 고전 컴퓨터 기반 평가 시스템이 연산 성능과 자원 사용량을 측정하고, 그 결과를 다시 AI에 전달해 회로를 반복적으로 개선하는 방식이다.

연구진은 기존 회로의 개별 게이트를 조금씩 수정하는 대신, 서로 다른 알고리즘 구조를 가진 프로그램을 AI가 직접 생성하고 평가하는 진화적 탐색 방식을 적용했다. 평가 과정에서는 토폴리(Toffoli) 게이트 수와 최대 큐비트 사용량을 측정해 회로의 효율성을 비교했다. 이를 통해 AI가 기존 설계의 세부 사항을 개선하는 수준을 넘어, 보다 효율적인 알고리즘 구조 자체를 찾아낼 수 있음을 보였다.

가장 큰 개선 효과는 에르미트 코드 기반의 양자 간섭계측(DQI) 디코더에서 나타났다. 기존 방식은 약 1억 개의 토폴리 게이트와 19만 개의 큐비트를 필요로 했지만, AI가 발견한 회로는 게이트 수를 약 93만 개로, 최대 큐비트 수를 2,395개로 줄였다. 연구진은 이에 따라 시공간 자원 비용이 9,100배 이상 감소했다고 밝혔다. 리드-솔로몬 코드 디코더에서는 기존의 확장 유클리드 알고리즘 대신 베를레캄프-매시(Berlekamp–Massey) 알고리즘을 채택해 자원 비용을 12배 줄였다.

이 밖에도 HHL 알고리즘의 회전각 계산에서 32배, 고정소수점 가우스 함수 계산에서 39배, 쿨롱 퍼텐셜 계산에서 9.9배, 비가환 격자 게이지 시뮬레이션에서 7.7배의 자원 절감 효과를 확인했다. 철-황 클러스터(Fe₂S₂)의 양자화학 계산에서는 4.1배 개선을 기록했다. 다만 작업별로 최적화 정도와 자원 사용량이 달라, 모든 양자 알고리즘에서 동일한 개선 효과가 나타나는 것은 아니다.

이번 연구에서 또 다른 주목할 성과는 소수체(prime field) 모듈러 역원 계산을 위한 새로운 가역 회로 구조다. 모듈러 역원은 타원곡선 암호 등에서 사용되는 연산으로, 기존의 가역 회로 구현에서는 계산 과정의 분기 이력을 저장하는 데 많은 큐비트가 필요했다. AI는 연산 결과에 포함된 수학적 규칙성을 이용해 분기 선택의 상당 부분을 복원하는 구조를 찾아냈으며, 해당 수학적 증명은 린(Lean) 정리 증명기를 통해 검증했다.

구체적으로 연구진은 모호한 분기 판단의 87.6%를 갱신된 레지스터에서 복원하고, 나머지 12.4%만 60큐비트 규모의 이력 저장 공간에 보관하는 방식을 구현했다. 이를 통해 기존에는 양자회로에서 비효율적이라고 여겨졌던 알고리즘을 내결함성 양자 연산에 활용할 수 있는 새로운 설계 경로를 제시했다.

연구진은 이번 성과가 하드웨어의 큐비트 수를 늘리는 것뿐 아니라 알고리즘과 회로 구조를 개선하는 것만으로도 양자컴퓨터의 실용화에 필요한 자원을 크게 줄일 수 있음을 보여준다고 설명했다. 실제로 철-황 클러스터인 FeMoco의 양자 시뮬레이션에 필요한 토폴리 게이트 수는 2017년 약 50조 개에서 인간 연구자들의 알고리즘 개선을 거쳐 약 3억 4,000만 개 수준까지 감소했다. 이번 AI 프레임워크는 새로운 모듈러 역원 회로 구조를 약 53시간의 자율 탐색으로 찾아내며, AI 기반 알고리즘 최적화의 가능성을 보여줬다.

AI가 발견한 최적화 원리는 크게 세 가지다. 첫째, 실행 경로마다 별도의 조건부 산술 연산을 수행하는 대신 제어된 스왑(SWAP) 연산으로 데이터를 이동시켜 하나의 공통 산술 블록을 활용하는 방식이다. 둘째, 계산 과정에서 발생한 분기 이력을 모두 저장하지 않고 갱신된 연산 레지스터의 수학적 특성으로부터 분기 정보를 복원하는 방식이다. 셋째, 최악의 입력 조건에 맞춰 모든 자원을 확보하는 대신 허용 가능한 실패 확률을 설정해 이력 저장 공간과 반복 횟수를 줄이는 방식이다.

이번 연구는 AI가 양자 알고리즘 개발 과정에서 단순한 코딩 보조 도구를 넘어, 사람이 쉽게 발견하기 어려운 회로 구조와 수학적 최적화 원리를 탐색하는 역할을 할 수 있음을 보여준다. 특히 오류 정정과 연산 자원 확보가 상용 양자컴퓨터 개발의 핵심 과제로 꼽히는 상황에서, 회로 최적화를 통한 자원 절감은 하드웨어 규모 확대에 대한 부담을 낮출 가능성이 있다.

다만 이번 결과는 주로 시뮬레이션과 자원 추정에 기반한 회로 최적화 성과다. 실제 양자 하드웨어에서의 실행 성능과 물리적 오류, 제어 비용까지 포함한 전체 시스템의 효율성이 동일하게 개선되는지는 추가 검증이 필요하다. 그럼에도 LLM을 활용한 자동화된 알고리즘 탐색이 양자컴퓨팅의 자원 효율을 높이는 새로운 연구 접근법으로 자리 잡을 수 있다는 점에서 의미가 크다.

이 연구는 Anthropic의 STEM 펠로우 프로그램(STEM Fellows Program)의 일환으로 Andi Gu가 주도했으며, Anthropic 소속 양자 물리학자인 Alek Kemeny가 멘토를 맡았다. 또한 하버드 대학교의 Susanne Yelin, 그리고 하버드 대학교 및 QuEra Computing의 Mikhail Lukin이 공동 연구자로 참여했다.