과학자들이 의료 스캔을 분석하는 데 사용되는 기존 AI 시스템의 신뢰도를 판단하도록 설계된 AI 기반 시스템을 개발했다.
구글 리서치(Google Research), 딥마인드(DeepMind) 협력 AI 연구진과 의료팀은 Nature Medicine 저널에 발표된 논문에서 시스템을 구축한 방법과 테스트했을 때 얼마나 잘 작동했는지 설명했다.
지난 몇 년 동안 AI 애플리케이션이 더욱 정교해짐에 따라 의료 시설은 품질을 유지하거나 개선하면서 인간 방사선 전문의가 수행하는 작업량을 줄이는 방법으로 이 기술을 수용했다. 현재 AI 애플리케이션은 유방이나 폐의 종양을 찾는 유방조영상 및 X-레이와 같은 스캔을 분석하는 데 사용된다.
이전 연구에 따르면 가장 신뢰할 수 있는 접근 방식은 인간과 AI 앱이 모두 동일한 스캔을 분석하도록 하는 것이다. 그렇게 하면 놓치는 종양이 줄어든다. 두 명의 방사선 전문의에 의한 분석은 거의 동일한 결과를 제공한다.
이 새로운 노력에서 연구원들은 이러한 상황에서 작동하는 AI 시스템이 제공한 결과를 분석하여 이 시스템을 개선하고자 했다. 이 목표를 달성하기 위해 그들은 Complementarity-driven Deferral-to-Clinical Workflow(CoDoC)라는 시스템을 만들었다. 현장에서 이미 사용되고 있는 현재 AI 시스템과 함께 작동하고 이러한 시스템에서 이미 제공하는 메트릭을 사용하도록 설계했다.
새로운 시스템의 임무는 진단 AI 시스템이 제공한 결과를 분석한 다음 그 결과에 대한 신뢰도를 판단하고 최종 진단을 제공하는 인간 진단사에게 해당 정보를 제공하는 것이다.
CoDoC도 AI 시스템으로 사례에서 얻은 표준 결과 데이터를 사용하여 훈련했다. 연구팀은 이론적으로 더 많이 사용할수록 더 정확해야 하는 개선 루프로 설계했다. 현재로서는 진단 AI 시스템과 인간 방사선 전문의 모두와 함께 작동하도록 했다.
결국 CoDoC는 어떤 결과가 가장 정확하고 정확도를 향상시키는 결과인지 파악하는 데 사용된다. 테스트 결과 AI 시스템이 CoDoC 및 방사선 전문의와 함께 사용된 시나리오는 두 시스템 단독보다 더 신뢰할 수 있는 것으로 나타났다.
*Krishnamurthy Dvijotham et al, Enhancing the reliability and accuracy of AI-enabled diagnosis via complementarity-driven deferral to clinicians, Nature Medicine (2023). DOI: 10.1038/s41591-023-02437-x
*Fiona Gilbert, Balancing human and AI roles in clinical imaging, Nature Medicine (2023). DOI: 10.1038/s41591-023-02441-1
의료 및 보건, 생명공학 편집자.
Writing on Bio, Medical. M.D. Fellow Professor at SNUH.
