과학자들이 인공지능(AI) 기반 분자 설계에서 ‘불확실성’을 적극 활용하는 새로운 접근법을 제시했다. 기존에는 과학 연구에서 정밀성과 확실성이 핵심으로 여겨졌지만, 이번 연구는 오히려 불확실성을 정량화하고 활용했다.

미국 브룩해이븐 국립연구소(Brookhaven National Laboratory)와 Texas A&M University 연구진의 이번 성과는 2026년 2월호 Molecular Systems Design & Engineering 표지 논문으로 선정됐다.

최근 분자 설계 분야에서는 생성형 AI 모델이 핵심 도구로 자리 잡고 있다. 특히 ‘생성형 분자 설계(GMD)’ 모델은 대규모 화학 데이터에서 패턴을 학습한 뒤 새로운 분자 구조를 만들어낸다. 이 과정에서 핵심 역할을 하는 기술이 바로 변분 오토인코더(VAE)다. VAE는 복잡한 분자 구조를 숫자로 압축하는 인코더와 이를 다시 실제 구조로 복원하는 디코더로 구성되어, 방대한 화학 공간을 효율적으로 탐색할 수 있게 한다. 연구진은 이러한 AI 모델이 신약 개발이나 신소재 탐색에서 이미 큰 성과를 내고 있지만, 한 번 학습된 모델을 다양한 목적에 맞게 재활용하기 어렵다는 한계가 존재한다고 설명한다.

이에 연구팀은 기존 접근과 달리 ‘불확실성 정량화’를 설계 과정에 적극 도입했다. 일반적으로 AI 모델은 학습 과정에서 다양한 가능성을 내포하는데, 이 불확실성은 그동안 충분히 활용되지 못했다. 연구진은 ‘활성 부분공간(active subspace)’ 기법을 활용해 모델 파라미터 중 결과에 가장 큰 영향을 미치는 핵심 영역을 식별하고, 이 영역에서 불확실성을 분석하고 활용하는 방식으로 모델을 정밀하게 조정했다. 이를 통해 전체 모델을 새로 학습시키지 않고도 성능을 향상시키는 것이 가능해졌다.

이 방법의 핵심은 분자 구조를 표현하는 잠재 공간(latent space)을 효율적으로 활용하는 데 있다. 분자 하나는 이 공간에서 하나의 점으로 표현되며, 유사한 분자는 서로 가까이 위치한다. 연구진은 이 공간에서 불확실성이 큰 영역을 탐색하고, 그중에서도 설계 성능을 개선할 가능성이 높은 방향을 찾아 모델을 미세 조정했다. 또한 어떤 모델이 더 우수한 분자를 생성하는지 지속적으로 평가하고 반영하는 피드백 루프를 구축해 최적의 결과를 도출했다.

실험 결과, 해당 접근법은 여러 VAE 모델과 다양한 분자 특성 최적화 과제에서 기존 사전학습 모델보다 개선된 성능을 보였다. 특히 핵심 변수만 선택적으로 조정함으로써 계산 비용과 시간을 크게 절감하면서도 더 나은 분자 설계 결과를 얻을 수 있었다는 점이 주목된다.

이 기술은 신약 개발, 촉매 설계, 고분자 및 연료 소재 개발 등 다양한 산업 분야에서 활용 가능성이 높다. 기존처럼 매번 새로운 AI 모델을 구축하지 않고도, 신뢰할 수 있는 모델을 기반으로 빠르게 최적화할 수 있기 때문이다. 연구진은 “AI가 스스로의 예측 불확실성을 인식하고 활용할 수 있게 되면, 보다 신뢰할 수 있는 설계 파트너가 될 것”이라며, 불확실성을 한계가 아닌 새로운 정보 자원으로 활용하는 패러다임 전환의 중요성을 강조했다.