인공지능(AI)이 세계를 이해하기 위한 주요 수학적 퍼즐을 풀었다.

편미분 방정식은 행성 운동에서 판 구조론에 이르기까지 모든 것을 설명 할 수 있지만 해결하기가 매우 어렵다. 물리학자나 엔지니어가 아니라면 편미분 방정식에 대해 알아야 할 이유도 크게 없다.

그러나 편미분 방정식 또는 PDE(partial differential equation)도 일종의 마술이다. 그것들은 공간과 시간에 따른 변화를 설명하는 수학 방정식의 범주로 우주 물리적 현상을 설명하는 데 매우 유용하다. 행성 궤도에서 판 구조론, 비행을 방해하는 난기류에 이르기까지 모든 것을 모델링하는 데 사용할 수 있다. 이를 통해 우리는 지진 활동을 예측하고 안전한 비행기를 설계하는 것과 같은 실용적인 작업을 수행할 수 있다. 문제는 PDE가 해결하기가 매우 어렵다는 것이다.

난기류를 시뮬레이션 등 유체 움직임을 설명하는 데 사용되는 Navier-Stokes라는 PDE가 있다. Navier-Stokes를 사용하면 어느 시점에서든 공기의 움직임(일명 바람 조건)의 스냅 샷을 찍고 공기가 어떻게 계속 움직일 것인지 또는 이전에 어떻게 움직였는지 모델링 할 수 있다.

이러한 계산은 매우 복잡하고 계산 집약적이므로 많은 PDE를 사용하는 분야에서 종종 슈퍼 컴퓨터에 의존하여 수학을 수행한다. 또한 AI 분야가 이러한 방정식에 특별한 관심을 기울인 이유이기도하다. 심층 학습(deep-learning)을 사용하여 문제를 해결하는 과정의 속도를 높일 수 있다면 과학적 탐구와 공학에 많은 도움이 된다.

최근 미국 칼텍(Caltech) 연구원들은 출판전 논문 사이트 아르시브(arxiv) 논문에서 기존 딥러닝 방법보다 훨씬 더 정확한 PDE를 해결하기위한 새로운 딥러닝 기술을 도입했다. 더 일반화가 용이하며 재훈련 없이도 모든 유형의 유체에 대한 Navier-Stokes 방정식과 같은 전체 PDE 제품군을 해결할 수 있다. 기존의 수학 공식보다 1,000배 더 빠르기 때문에 슈퍼 컴퓨터에 대한 의존도를 낮추고 더 큰 문제를 모델링 할 수 있는 계산 능력을 높일 수 있다.

먼저 연구 결과, 첫 번째는 유체 운동의 두 스냅 샷을 보여준다. 두 번째는 실제 생활에서 유체가 어떻게 계속 움직였는지 보여준다. 세 번째는 신경망이 유체의 움직임을 어떻게 예측했는지 보여준다.

먼저 이해해야 할 것은 신경망이 기본적으로 함수 근사자(function approximators)라는 것이다. 쌍을 이룬 입력 및 출력의 데이터 세트에 대해 훈련할 때 실제로 함수 또는 일련의 수학 연산을 계산하여 하나를 다른 것으로 전치한다.

고양이 탐지기 구축을 예로들면, 고양이와 고양이가 아닌 것 (입력)에 대한 많은 이미지를 제공하고 각 그룹에 각각 1 또는 0 (출력) 레이블을 지정하여 신경망을 훈련한다. 그런 다음 신경망은 고양이의 각 이미지를 1로, 나머지 모든 이미지를 0으로 변환할 수 있는 최상의 함수를 찾는다. 이것이 새로운 이미지를 보고 고양이 인지 여부를 알려주는 방법이다. 답을 계산하기 위해 찾은 함수를 사용하고 있으며, 훈련으로 대부분의 경우 올바르게 얻을 수 있다.

이 함수 근사 프로세스는 PDE를 풀기 위해 필요하다. 우리는 궁극적으로 물리적 공간과 시간에 걸친 공기 입자의 움직임을 가장 잘 설명하는 함수를 찾으려 한다. 여기에 논문의 핵심이 있다. 신경망은 일반적으로 x, y 및 z 축이 있는 클래식 그래프 인 유클리드 공간에 정의 된 입력과 출력 간의 함수를 근사하도록 훈련된다. 그러나 이번에 연구원들은 파동 주파수를 그리는 특별한 유형의 그래프, 푸리에 공간에서 입력과 출력을 정의하기로 결정했다.

연구를 감독한 칼텍 교수 아니마 아난드쿠마르(Anima Anandkumar)는 그들이 다른 분야의 작업에서 얻은 직관은 공기의 움직임과 같은 것이 실제로 파동 주파수의 조합으로 설명될 수 있다는 것이라고 설명한다. 거시적 수준에서 바람의 일반적인 방향은 매우 길고 무기력 한 파동이 있는 저주파와 같고, 미세 수준에서 형성되는 작은 소용돌이는 매우 짧고 빠른 파동을 가진 고주파와 같다.

이는 유클리드 공간에서 PDE와 엉키는 것보다 푸리에 공간에서 푸리에 함수를 근사화 하는 것이 훨씬 쉽기 때문에 신경망의 작업이 크게 단순화한다. 기존 방법에 비해 속도가 크게 향상 될 뿐만 아니라 이 기술은 Navier-Stokes를 풀 때 이전 딥러닝 방법보다 30% 낮은 오류율을 달성한다. 모든 것이 매우 영리하며 방법을 보다 일반화할 수 있다. 이전의 딥러닝 방법은 모든 유형의 유체에 대해 개별적으로 훈련해야 했지만, 연구원의 실험에서 확인 된 바와 같이 이 방법은 모든 유체를 처리하기 위해 한 번만 훈련하면 된다.

아직 이를 다른 사례로 확장하려고 시도하지는 않았지만 지진 활동과 관련된 PDE를 풀 때 모든 것을 처리할 수 있어야 하고 열전도 도와 관련된 PDE를 풀 때 모든 재료 유형을 처리할 수 있어야 한다.

슈퍼 시뮬레이션

연구팀은 Caltech 및 로렌스 버클리 국립 연구소(Lawrence Berkeley National Laboratory)의 다른 연구원들과 함께 자신의 방법을 실행하기 위해 노력하고 있다. 특히 흥미로운 연구 주제 중 하나는 기후 변화다. Navier-Stokes는 난기류 모델링 뿐만 아니라 패턴을 모델링하는데도 사용된다.

아난드쿠마르는 “전 세계적으로 훌륭하고 세밀한 날씨 예측을 하는 것은 매우 어려운 문제다. 심지어 가장 큰 슈퍼 컴퓨터로도 이를 수행할 수 없다. 따라서 이러한 방법을 사용해 전체 파이프 라인의 속도를 높일 수 있다면 엄청난 영향을 미칠 것”이라고 말했다.

* Fourier Neural Operator for Parametric Partial Differential Equations