KAIST, 영상으로 인간 의도 학습하는 AI 기술 개발

생성형 AI에서 ‘행동 AI’로…피지컬 AI 시대 본격화

로봇이 인간의 의도를 이해하고 스스로 상황에 맞는 행동을 선택하는 ‘피지컬 AI’ 시대를 위해 국내 연구진이 핵심 기술적 난제를 해결할 수 있는 새로운 방법을 제시했다. KAIST 연구팀이 단 몇 개의 영상만으로도 AI가 인간의 판단 기준을 학습할 수 있는 기술을 개발한 것이다.

KAIST(총장 이광형)는 전기및전자공학부 유창동 교수 연구팀이 수천~수만 건에 달하는 인간 평가 데이터 없이도, 소수의 선호 영상만으로 AI가 인간의 의도와 판단 기준을 학습할 수 있는 새로운 기술 ‘VOTP(Video-based Optimal TransPort Preference)’를 세계 최초로 개발했다고 10일 밝혔다.

이번 연구는 오는 7월 서울 코엑스에서 열리는 세계 최고 권위의 AI 학회 ICML(International Conference on Machine Learning) 2026에 채택됐다. 전체 제출 논문 2만 3,918편 가운데 상위 0.7%에 해당하는 168편만 선정되는 구두(Oral) 발표로도 선정되며 학문적 우수성을 인정받았다.

ICML은 인공지능 및 머신러닝 분야에서 가장 영향력 있는 국제학회 중 하나로 꼽힌다.

최근 AI 기술은 텍스트 생성이나 이미지 생성 같은 디지털 영역을 넘어, 실제 물리 세계에서 기계를 움직이는 ‘피지컬 AI(Physical AI)’로 빠르게 확장되고 있다.

공장에서 위험 작업을 대신 수행하는 로봇, 복잡한 도로 상황을 스스로 판단하는 자율주행차, 정밀한 수술을 수행하는 의료 로봇 등이 대표적인 적용 사례다.

하지만 이러한 피지컬 AI가 실제로 상용화되기 위해서는 중요한 문제가 남아 있었다. 기계가 수행하는 다양한 행동이 인간의 의도에 부합하는지, 그리고 여러 선택지 중 무엇이 더 바람직한지를 판단할 수 있는 ‘인간 수준의 평가 기준’을 학습하는 문제다.

예를 들어 수술 로봇이 봉합을 하거나 자율주행차가 복잡한 교차로를 통과할 때, AI는 수많은 행동 중 가장 적절한 선택을 해야 한다. 이를 위해서는 인간의 선호가 반영된 ‘보상함수(Reward Function)’가 필요하지만, 기존 방식은 사람이 수천~수만 개의 행동 데이터를 직접 평가해야 해 막대한 시간과 비용이 요구됐다.

“몇 개의 영상만으로 인간의 기준 학습”

연구팀은 사람이 소수의 시범만 보고도 새로운 작업을 학습하는 방식에 주목했다. VOTP는 몇 개의 ‘좋은 행동’과 ‘나쁜 행동’ 사례 영상만으로도 AI가 인간의 선호 패턴을 학습하도록 설계된 기술이다.

기존처럼 대규모 데이터 라벨링이 필요하지 않으며, 제한된 사례를 기반으로도 AI가 인간의 판단 기준을 일반화해 다양한 상황에 적용할 수 있다.

이번 연구의 핵심은 로봇이나 자율주행차 같은 지능형 시스템이 소수의 인간 선호(preference)를 담은 비디오만으로도 인간의 의도(intent)를 빠르게 파악할 수 있다는 점이다. 연구팀은 다양한 환경과 작업을 대상으로 한 실험을 통해 해당 알고리즘의 성능과 일반화 능력을 검증했다.

이 기술은 피지컬 AI 개발 과정에서 가장 큰 비용 요소 중 하나인 인간 피드백 및 데이터 구축 부담을 크게 줄일 수 있어, 로봇 학습 효율을 획기적으로 높일 수 있을 것으로 기대된다.

적은 데이터만으로도 로봇, 자율주행차, 산업용 기계 등이 사람의 기대에 부합하는 행동을 학습할 수 있어 개발 기간과 비용 절감 효과도 클 것으로 전망된다.

VOTP 기술은 로봇 팔 제어, 휴머노이드 로봇, 자율주행차, 드론, 스마트팩토리, 수술 로봇은 물론 컴퓨터를 직접 조작하는 AI 에이전트까지 폭넓게 활용될 수 있다.

특히 인간의 의도와 만족도를 학습해야 하는 모든 피지컬 AI 시스템의 핵심 기반 기술로 발전할 가능성이 제기된다.

유창동 교수는 “피지컬 AI의 핵심은 기계가 인간의 의도를 이해하고 올바른 행동을 선택하도록 만드는 것”이라며 “VOTP는 소수의 영상만으로 인간의 판단 기준을 학습할 수 있어, 로봇이 사람처럼 판단하는 시대를 앞당길 핵심 기술”이라고 말했다.

이번 연구에는 전기및전자공학부 Luu Minh Tung(루 민 퉁) 박사과정 학생이 제1저자로 참여했다. 논문은 ‘Video-Based Optimal Transport for Feedback-Efficient Offline Preference-Based Reinforcement Learning’이라는 제목으로 ICML 2026에 채택됐으며, 오랄(Oral) 발표 논문으로 선정됐다.

연구는 과학기술정보통신부, 정보통신기획평가원(IITP), 한국연구재단(NRF)의 지원을 받아 수행됐다.