160년 난제 ‘리만 가설’, 양자컴퓨터 통한 해법 모색

리만 제타함수 0점 물리적 탐색…양자 상전이 첫 실험적 연결

1859년 독일 수학자 베른하르트 리만이 제기한 이후 160년 넘게 인류 최고의 미해결 난제로 남아 있는 ‘리만 가설(Riemann Hypothesis)’이 양자컴퓨터를 통해 새로운 해법을 찾을 가능성이 제시됐다. 수학의 난제를 물리학 현상으로 변환해 실험적으로 탐색할 수 있다는 사실을 입증하면서, 양자컴퓨팅이 순수수학의 영역까지 확장될 수 있음을 보여준 것이다.

중국 베이징양자정보과학원(BAQIS), 선전국제양자아카데미, 칭화대학교 공동 연구진은 리만 가설과 양자계의 동적 상전이(Dynamical Quantum Phase Transition·DQPT) 사이의 직접적인 대응 관계를 규명하고 이를 실제 양자 프로세서에서 실험적으로 구현하는 데 성공했다고 밝혔다. 연구 결과는 국제 학술지 Nature Communications에 게재됐다.

이번 연구는 리만 가설을 증명한 것은 아니다. 그러나 양자컴퓨터를 이용해 리만 제타함수의 영점(zero)을 물리적으로 탐색할 수 있는 새로운 방법을 제시했다는 점에서 수학과 양자물리학, 양자정보과학을 연결하는 중요한 이정표로 평가된다.

리만 가설은 소수(prime number)의 분포를 설명하는 리만 제타함수의 모든 ‘비자명한 영점(nontrivial zero)’이 복소평면의 특정 직선, 즉 실수부가 정확히 2분의 1인 ‘임계선(Critical Line)’ 위에 존재한다는 추측이다. 이 명제는 현대 정수론의 핵심 축으로, 암호학을 비롯해 1,000개가 넘는 수학 정리가 이를 참이라고 가정한 상태에서 증명돼 있다. 하지만 지금까지 누구도 모든 영점이 실제로 임계선 위에 존재한다는 사실을 엄밀하게 증명하지 못했다.

오랫동안 물리학자들은 리만 가설의 해답이 순수수학이 아닌 자연법칙 속에 숨어 있을 가능성을 제기해 왔다. 특히 ‘힐베르트-폴리야(Hilbert-Pólya) 추측’은 리만 제타함수의 영점이 아직 발견되지 않은 어떤 양자계의 에너지 준위와 일치할 것이라는 아이디어를 제시하면서 양자역학과 리만 가설을 연결하는 대표적인 이론으로 자리 잡았다.

그러나 실제로 이러한 양자계를 구성하는 일은 극도로 어려웠다. 연구진은 기존 접근법 대신 전혀 다른 질문을 던졌다. “에너지 대신 시간을 이용하면 어떨까?”라는 발상이었다.

연구진은 시간이 양자컴퓨터에서 가장 정밀하게 제어할 수 있는 물리량이라는 점에 주목했다. 이에 따라 계산 과정에서 시간이 흐르면서 양자계의 상태가 급격히 변하는 동적 양자 상전이(DQPT)를 이용해 리만 제타함수의 영점을 탐색하는 새로운 이론을 제안했다.

이를 위해 연구진은 다체 양자계와 하나의 탐침(probe) 큐비트로 구성된 두 종류의 양자 시스템을 설계했다. 시스템을 열평형 상태에서 시작한 뒤 시간에 따라 비평형 상태로 진화시키면 리만 제타함수의 복소수 변수는 실제 물리량으로 대응된다. 실수부는 시스템의 온도를, 허수부는 시간에 따른 양자 진화를 의미하도록 변환된다.

이 이론에서 중요한 점은 동적 상전이가 오직 리만 가설이 예측하는 임계선에서만 발생해야 한다는 것이다. 만약 임계선이 아닌 다른 조건에서도 동일한 상전이가 나타난다면 이 물리적 대응 관계에서는 리만 가설이 성립하지 않는다는 의미가 된다.

연구진은 이를 검증하기 위해 3개의 플루오린 원자와 2개의 수소 원자로 구성된 분자의 핵스핀을 이용한 5큐비트 핵자기공명(NMR) 양자 프로세서를 구축했다. 하나의 핵스핀은 탐침 큐비트 역할을 수행했고, 연구진은 임계선 위와 임계선 밖, 그리고 첫 번째 비자명 영점에 해당하는 조건에서 각각 실험을 진행했다.

실험 결과는 이론과 정확히 일치했다. 양자 시스템이 임계선 위에 위치하면서 동시에 리만 제타함수의 영점 조건을 만족할 때만 탐침 큐비트의 양자 결맞음(coherence)이 완전히 사라졌고, 이는 동적 양자 상전이가 발생했음을 의미했다. 반대로 임계선을 벗어난 조건에서는 이러한 신호 붕괴가 나타나지 않았다.

연구진은 또 다른 양자 모델에서는 로슈미트 진폭(Loschmidt amplitude)을 이용한 수치 시뮬레이션을 수행했다. 그 결과 첫 번째 영점뿐 아니라 1조 번째(trillionth) 리만 영점까지 동일한 대응 관계가 유지되는 것을 확인했다. 영점이 커질수록 계산 결과는 알려진 실제 값과 더욱 정밀하게 일치하는 것으로 나타났다.

연구진은 이번 성과가 리만 가설을 증명한 것은 아니라고 강조했다. 수학적 증명은 무한히 많은 영점을 모두 확인해야 하지만, 실험과 시뮬레이션은 유한한 범위만 검증할 수 있기 때문이다.

그럼에도 이번 연구의 의미는 매우 크다. 기존 컴퓨터에서는 리만 제타함수의 거대한 영점을 계산하거나 검증하는 비용이 기하급수적으로 증가하지만, 연구진이 제안한 디지털 양자 알고리즘은 다항식(polynomial) 수준의 계산 자원만으로 동일한 작업을 수행할 수 있다. 이는 양자컴퓨터가 수론 문제에서도 실질적인 **양자우위(Quantum Advantage)**를 제공할 가능성을 시사한다.

연구진은 앞으로 세 가지 방향으로 연구를 확대할 계획이다. 첫째는 현재의 5큐비트 실험을 수백 큐비트 이상의 디지털 양자컴퓨터로 확장해 훨씬 높은 차수의 리만 영점을 탐색하는 것이다. 둘째는 이번 이론을 수론을 넘어 끈이론의 위튼 지수(Witten Index) 계산이나 블랙홀의 열역학적 성질 분석 등 현대 이론물리학으로 확대하는 것이다. 마지막으로 일반화된 L함수(Generalized L-functions)나 다른 수학적 난제들 역시 고유한 ‘물리적 쌍둥이’를 가질 수 있는지를 탐구해, 수학과 양자물리학 사이의 새로운 연결고리를 찾는 것이다.

이번 연구는 160년 동안 순수수학의 영역에 머물러 있던 리만 가설을 양자물리학이라는 실험 가능한 세계로 끌어냈다는 점에서 의미가 깊다. 리만 가설의 최종 증명까지는 아직 갈 길이 멀지만, 양자컴퓨터가 단순히 계산 속도를 높이는 도구를 넘어 인류의 가장 난해한 수학 문제를 탐구하는 새로운 연구 플랫폼으로 진화하고 있음을 보여주는 상징적인 사례로 평가된다.