구글 퀀텀 AI, 15만 달러 양자회로 최적화 대회… AI가 큐비트·게이트 줄인다

구글 퀀텀 AI, 캐글서 총상금 15만 달러 경진대회… 핵융합·수학적 최적화·양자화학 회로 압축 경쟁

구글 퀀텀 AI가 캐글에서 총상금 15만 달러의 양자회로 최적화 대회를 시작했다. 킥믹스 검증 도구와 앤스로픽·하버드 연구를 통해 AI 기반 회로 설계의 성과와 한계를 분석한다.

양자컴퓨터의 실용화를 앞당기는 경쟁이 하드웨어 확장에서 알고리즘 최적화로 넓어지고 있다. 큐비트 수를 늘리고 오류를 줄이는 것만큼 중요한 과제가 같은 계산을 더 적은 양자 게이트와 큐비트로 수행하도록 회로를 재설계하는 일이다. 최근에는 인공지능(AI) 에이전트가 회로를 제안하고 별도의 검증 프로그램이 정확성과 자원 비용을 평가하는 자동화 방식이 주목받고 있다.

구글 퀀텀 AI(Google Quantum AI)는 2026년 10월 21일 오픈소스 기술 논문과 함께 데이터 과학 플랫폼 캐글(Kaggle)에서 총상금 15만 달러 규모의 양자회로 컴파일 경진대회를 시작했다. 참가자는 핵융합 시뮬레이션, 수학적 최적화, 양자화학 등 세 분야의 핵심 연산 회로를 재설계해 큐비트와 게이트 사용량을 줄여야 한다. 대회 종료 예정일은 2027년 1월 20일이다.

구글이 공식 블로그를 통해 공개한 핵심 도구는 양자 알고리즘 개발용 오픈소스 라이브러리 퀄트란(Qualtran)에 통합된 C++20·파이썬 기반 검증 도구 ‘킥믹스(kickmix)’다. 구글은 특정 구조를 가진 대형 회로를 단일 CPU 코어에서 초당 약 600억 개 게이트 규모로 시뮬레이션할 수 있다고 설명했다. 이는 모든 양자회로를 고전 컴퓨터로 빠르게 검증할 수 있게 됐다는 뜻이 아니라, 검증 가능한 구조를 가진 회로를 대상으로 AI의 설계·평가 반복을 가속한다는 의미다.

오류 정정의 비용까지 낮추는 양자회로 압축

양자컴퓨터는 중첩과 얽힘을 활용해 특정 문제를 처리하지만, 큐비트는 외부 환경의 미세한 변화에도 민감하다. 게이트 연산 과정에서 발생하는 오류가 누적되면 계산 결과를 신뢰하기 어려워진다. 이를 보완하는 핵심 기술이 양자 오류 정정(quantum error correction)이다.

문제는 오류 정정에도 추가적인 물리적 큐비트와 연산 자원이 필요하다는 점이다. 논리 큐비트 하나를 안정적으로 구현하는 데 여러 물리적 큐비트가 동원될 수 있으며, 실제 비용은 하드웨어의 오류율과 오류 정정 방식에 따라 달라진다. 따라서 알고리즘 자체가 요구하는 게이트 수와 보조 큐비트 수를 줄이면 오류 정정에 필요한 전체 자원 부담도 낮출 가능성이 있다.

이 때문에 양자회로 최적화는 단순히 코드를 짧게 만드는 작업과 다르다. 양자 연산은 중첩 상태에서 입력별로 서로 다른 계산 경로를 선택하는 고전 프로그램과 달리, 모든 입력에 적용될 수 있는 연산 구조를 유지해야 한다. 또한 중간 계산 결과를 임의로 지울 수 없어, 사용이 끝난 정보를 역연산으로 되돌리는 과정도 필요하다.

회로 설계자는 게이트 수와 큐비트 수 사이의 상충 관계도 고려해야 한다. 중간 결과를 즉시 되돌리면 필요한 큐비트는 줄어들지만 계산을 반복해야 할 수 있다. 반대로 결과를 저장하면 연산량은 줄어들 수 있지만 더 많은 큐비트가 필요하다. AI 기반 최적화의 목표는 이러한 제약을 고려해 기존 설계와 다른 알고리즘 구조를 탐색하는 것이다.

핵융합·최적화·양자화학, 세 가지 회로 압축 과제

구글은 이번 대회에서 세 가지 응용 분야의 핵심 연산을 벤치마크로 선정했다. 각 과제에는 참조 회로와 독립 검증기가 제공되며, 참가자는 검증 조건을 통과하면서 자원 비용을 줄인 회로를 제출해야 한다. 관련 자료는 아파치 2.0(Apache 2.0) 오픈소스 라이선스로 공개됐다.

벤치마크	응용 분야	주요 계산 병목	최적화 방향
I	관성 봉입 핵융합	고온·고밀도 플라스마에서 하전입자 사이의 전기적 상호작용 계산	역제곱근 함수 (1/\sqrt{x})를 구현하는 산술 회로의 비용 절감
II	수학적 최적화	복호 양자 간섭법(DQI)에 필요한 리드-솔로몬(Reed–Solomon) 부호 복호	가역 복호 알고리즘의 게이트 수와 회로 자원 축소
III	양자화학	분자 해밀토니안과 양자 룩업 테이블을 이용한 전자 구조 시뮬레이션	해밀토니안 분해 단계와 각 단계의 데이터 로딩 회로를 공동 최적화

첫 번째 과제는 관성 봉입 핵융합(inertial confinement fusion)에서 플라스마 속 하전입자 사이의 상호작용을 계산하는 데 필요한 역제곱근 연산을 다룬다. 두 번째 과제는 최적화 문제를 양자 간섭과 오류 정정 부호 복호에 연결하는 DQI(Decoded Quantum Interferometry) 알고리즘의 병목을 줄이는 데 초점을 맞춘다.

세 번째 과제는 양자컴퓨터의 대표적인 과학 응용 후보인 양자화학이다. 분자 속 전자의 상호작용은 고전 컴퓨터로 정확하게 계산하기 어려운 경우가 있다. 양자컴퓨터는 이러한 전자 구조를 직접 모사할 잠재력이 있지만, 실제 계산에 필요한 회로 규모가 크다는 문제가 남아 있다.

구글의 접근은 전체 알고리즘을 한꺼번에 새로 만드는 것보다 전체 자원 비용을 크게 좌우하는 연산을 찾아 해당 부분을 집중적으로 최적화하는 방식이다. 회로의 작은 부분을 개선하더라도 그것이 반복적으로 실행되는 핵심 연산이라면 전체 계산 비용을 크게 낮출 수 있다.

킥믹스의 핵심은 ‘모든 회로 검증’이 아니라 검증 가능한 구조

양자회로 최적화에 AI를 투입하려면 AI가 만든 회로가 원래 요구된 계산을 제대로 수행하는지 확인할 수 있어야 한다. 일반적인 양자회로를 고전 컴퓨터로 직접 시뮬레이션하면 큐비트 수가 증가할수록 다뤄야 할 상태 정보가 급격히 늘어난다. 따라서 대규모 회로의 동등성을 일반적인 방식으로 전부 확인하는 일은 매우 어렵다.

구글의 킥믹스는 이 문제를 회로 구조의 제약을 활용해 해결한다. 가역적인 고전 논리 연산, 위상 연산, 측정 기반 정보 소거 등을 결합한 특정 부류의 회로에서는 계산 기저 상태의 입력을 넣었을 때 결과를 비트열과 위상 정보로 추적할 수 있다. 이 구조를 활용하면 전체 양자 상태의 모든 진폭을 계산하지 않고도 후보 회로를 효율적으로 시험할 수 있다.

구글이 설명한 검증 방식은 무작위 입력을 이용한 퍼즈 테스트(fuzz testing)다. 검증 프로그램은 후보 회로와 기준 구현을 여러 입력에서 비교하고, 그 결과를 이용해 회로가 허용된 오차 범위 안에서 동작하는지 평가한다. 구글은 킥믹스를 이용해 단일 CPU 코어에서 초당 약 600억 개 게이트 규모의 시뮬레이션을 수행할 수 있다고 밝혔다.

다만 이 수치를 일반적인 양자회로의 완전한 검증 속도로 해석해서는 안 된다. 무작위 시험은 수학적 동등성을 모든 입력에 대해 직접 증명하는 것과 다르다. 검증 결과가 양자 상태에서의 정확성을 얼마나 보장하는지는 회로 구조, 입력 분포, 오류 기준 등 조건에 달려 있다. 따라서 킥믹스의 성과는 검증을 없앤 것이 아니라, 특정한 구조를 이용해 AI가 설계안을 반복적으로 평가할 수 있는 실용적 검증 경로를 마련했다는 데 있다.

이 방식은 AI 에이전트의 작동 과정에도 중요하다. AI가 새로운 회로를 제안하면 검증기가 정확성과 비용을 평가하고, 그 결과를 다시 AI에 전달한다. AI는 피드백을 바탕으로 설계를 수정한다. 이 폐쇄형 반복 과정에서 독립적인 검증기가 안전장치 역할을 하면서, 연구자가 모든 설계안을 일일이 점검하는 부담을 줄일 수 있다.

하버드·앤스로픽 연구도 확인한 AI 기반 회로 설계의 잠재력

구글의 경진대회 발표와 비슷한 시기인 10월 16일, 앤스로픽(Anthropic)은 하버드대학교 및 퀘라 컴퓨팅(QuEra Computing) 연구진과 수행한 양자회로 최적화 연구를 홈페이지에 공개했다. 논문 제목은 Discovering state-of-the-art quantum circuits with large language models이며, 대규모 언어모델(LLM)이 회로를 제안하고 별도의 평가 프로그램이 정확성과 자원 비용을 확인하는 진화형 탐색 프레임워크를 다룬다.

연구진은 화학, 최적화, 물리 시뮬레이션, 수론 등 8개 계산 과제를 대상으로 실험했다. 논문 초록에 따르면 8개 중 7개 과제에서 기존 최첨단 설계보다 토폴리(Toffoli) 게이트와 큐비트 수를 모두 유의미하게 줄였다. 나머지 한 과제에서도 소수체 모듈러 역원 연산에 적용할 새로운 가역 회로 구조를 발견했다.

특히 타원곡선 연산에 사용되는 모듈러 역원 계산은 중간 연산의 분기 정보를 저장해야 하는 문제가 있었다. 고전 알고리즘에서는 더 이상 필요하지 않은 정보를 버릴 수 있지만, 양자회로에서는 역연산을 위해 그 정보를 보존하거나 복원할 방법을 마련해야 한다. 연구진은 AI가 제안한 설계를 통해 중간 상태에서 분기 정보를 복원하는 접근법을 탐색했고, 수학적 관계를 이용한 복원 규칙을 검증했다.

연구진은 또 최적화 알고리즘인 DQI에서 중요한 리드-솔로몬 복호 회로를 개선했다. 기존의 확장 유클리드 알고리즘을 이용한 설계 대신 벌리캠프-매시(Berlekamp–Massey) 알고리즘을 활용하면서, 가역 연산에 필요한 중간 정보 저장 비용을 줄이는 방향을 찾았다. 앤스로픽의 설명에 따르면 이 작업은 기존 설계 대비 큐비트와 게이트의 상충 관계를 개선했으며, 일부 설계에서는 게이트 수가 크게 감소했다.

이 연구에서 사용된 모델은 앤스로픽이 공개한 설명상 클로드 미토스 5(Claude Mythos 5)다. 연구진은 모델이 회로를 제안하고 평가 프로그램으로부터 피드백을 받는 과정을 반복했으며, 모듈러 역원 과제에서는 약 53시간 동안 제한적인 인간 개입만으로 탐색을 진행했다고 밝혔다.

FeMoCo 회로 비용은 15만 분의 1로 줄었다… 그러나 아직 미래 하드웨어의 과제

두 연구의 의미를 이해하는 데 중요한 사례가 철-몰리브덴 보조인자(FeMoCo)다. FeMoCo는 질소고정효소(nitrogenase)의 활성 부위에 있는 금속 보조인자로, 미생물이 대기 중 질소를 암모니아로 전환하는 과정에 관여한다. 이 반응을 분자 수준에서 정확하게 이해하면 산업용 촉매와 비료 생산 기술을 개선할 가능성이 있다.

현재 산업의 대표적인 암모니아 생산 방식인 하버-보슈 공정은 고온·고압 조건을 필요로 한다. 반면 생물학적 질소고정은 효소를 통해 상온에 가까운 조건에서 질소를 반응시킨다. FeMoCo의 전자 구조를 정확히 계산하면 이러한 생물학적 촉매 작용을 이해하는 데 도움이 될 수 있지만, 전자 사이의 강한 상호작용 때문에 계산 난도가 높다.

앤스로픽의 연구 설명에 따르면 FeMoCo의 바닥상태 에너지를 계산하는 데 필요한 토폴리 게이트 수는 2017년 약 50조 개로 추산됐다. 이후 알고리즘과 회로 설계가 발전하면서 추정치는 약 3억4,000만 개로 감소했다. 이는 게이트 수 기준으로 약 15만 배 줄어든 규모다.

이 수치는 하드웨어가 실제로 해당 계산을 이미 수행했다는 의미가 아니다. 연구진이 제시한 알고리즘 자원 추정치가 개선됐다는 뜻이며, 실제 계산에는 오류 정정과 물리적 큐비트 구성, 게이트 실행 속도 등 추가 조건이 필요하다. 그럼에도 수년간의 알고리즘 연구를 통해 회로 자원 추정치가 크게 낮아졌다는 점은 양자컴퓨터의 실용화 경로에서 소프트웨어와 알고리즘 설계가 차지하는 비중을 보여준다.

경쟁의 핵심은 검증 가능한 개선

구글의 캐글 경진대회와 앤스로픽·하버드·퀘라의 연구는 서로 다른 방식으로 같은 문제에 접근한다. 구글은 특정 구조를 갖춘 회로의 검증 도구와 기준 구현을 공개해 더 넓은 연구자 커뮤니티가 경쟁하도록 유도한다. 앤스로픽 공동 연구는 언어모델이 기존 알고리즘을 단순히 다듬는 데 그치지 않고, 연산 구조 자체를 다시 설계할 가능성을 보여준다.

두 사례에서 중요한 것은 AI가 회로를 만들어냈다는 사실만이 아니다. 회로가 요구된 계산을 수행하는지 독립적으로 평가하고, 큐비트와 게이트 사용량을 정량적으로 비교할 수 있다는 점이다. 검증과 비용 평가가 자동화되면 연구자는 더 다양한 알고리즘 구조를 탐색할 수 있고, 기존의 수작업 설계에서 놓쳤던 개선 가능성도 찾을 수 있다.

다만 회로 압축률을 곧바로 양자컴퓨터의 상용화 시점이나 실질적인 계산 속도 향상으로 환산하기는 어렵다. 토폴리 게이트 수, 전체 게이트 깊이, 피크 큐비트 수, 오류 정정 오버헤드, 하드웨어별 게이트 충실도는 서로 다른 지표다. 특정 지표에서 큰 개선이 이뤄져도 다른 자원이 병목으로 남을 수 있다.

따라서 이번 경쟁의 성과는 최종 회로의 정확성, 자원 비용, 근사 오차, 실제 하드웨어에서의 구현 가능성을 함께 평가해야 한다. AI가 양자컴퓨터를 대신하는 것이 아니라, 제한된 양자 하드웨어로 더 많은 계산을 수행하도록 알고리즘을 재설계하는 도구로 자리 잡을 수 있는지가 관건이다.

수만 큐비트급 시스템의 등장을 기다리는 동안에도 알고리즘 최적화는 진행될 수 있다. 양자컴퓨팅의 다음 단계는 큐비트를 얼마나 많이 만들 수 있느냐뿐 아니라, 같은 하드웨어로 얼마나 적은 자원을 써서 유용한 계산을 수행할 수 있느냐에 달려 있다.

*관련 기사

• 하버드·앤스로픽·퀘라, AI로 양자회로 최적화…연산 자원 최대 9,100배 절감
• [주간 AI·양자 과학] AI가 양자 회로 설계 직접 설계