NeurIPS-2020 MineRL 대회 우승 계층적 AI
최근 몇 년 동안 강화 학습을 기반으로 하는 계산 도구는 이미지 분류 및 로봇 개체 조작을 비롯한 수많은 작업에서 놀라운 결과를 달성했다.
강화 학습 연구 첼린지로 NeurIPS(신경 정보 처리 시스템) 연례 컨퍼런스에서는 Mojang Studios에서 개발한 유명한 컴퓨터 게임인 Minecraft에서 동일한 작업에 대해 서로 다른 알고리즘을 테스트하는 MineRL 대회를 소개했다. 보다 구체적으로, 참가자는 Minecraft 게임의 원시 픽셀에서 다이아몬드를 얻는 데 필요한 알고리즘을 생성해야 한다.
알고리즘은 단일 GPU 머신을 사용하여 MineRL 시뮬레이터로 생성된 800만개 샘플과 4일 동안만 훈련할 수 있다. 훈련 데이터 세트 외에도 참가자에게는 대규모 인간 데모 컬렉션(즉, 인간 플레이어가 작업을 해결하는 비디오 프레임)도 제공된다.
Huawei Noah’s Ark Lab, Tianjin University 및 Tsinghua University의 연구원 팀이 NeurIPS-MineRL 2020 대회에서 우승했다. 연구원들은 SEIHAI라는 샘플 효율적인 계층적 인공 지능(AI) 도구를 사용하여 대회에 참가한 다른 모든 알고리즘을 능가할 수 있었다.
마오 항규와 그의 동료들은 arXiv에 사전 게시된 AI 개요 논문에서 “인간 데모와 작업 구조를 최대한 활용하는 샘플 효율적인 계층적 AI인 SEIHAI를 제시한다. 특히, 우리는 작업을 여러 개의 순차적 종속 하위 작업으로 분할하고 강화 학습 및 모방 학습을 사용하여 각 하위 작업에 적합한 에이전트를 훈련한다”고 말했다.
Minecraft에서 다이아몬드를 얻으려면 플레이어는 일련의 단계를 따라야 한다. 차례로, 그들은 나무를 베어 통나무를 만든 다음 통나무를 사용하여 나무 곡괭이를 만들고 조약돌을 파내는 데 사용할 필요가 있다. 마지막으로, 조약돌은 용광로에 넣고 다이아몬드나 다른 어떤 것이 될 수 있는 돌로 만들어야 한다. 다이아몬드는 게임에서 드물기 때문에 MineRL 참가자의 작업을 더욱 복잡하게 만든다.
작업을 가장 효과적으로 처리하기 위해 Mao와 그의 동료들은 각각 다른 기술과 능력이 필요한 일련의 하위 작업으로 작업을 나누었다. 그런 다음 해결하려는 문제에 가장 적합한 방법에 따라 강화 학습 또는 모방 학습을 사용하여 각 하위 작업을 개별적으로 처리하도록 서로 다른 에이전트를 훈련했다.
각 하위 작업에 어떤 에이전트가 더 적합한지 결정하기 위해 연구원들은 완료해야 하는 하위 작업의 고유한 특성을 기반으로 다양한 상황에 대한 에이전트를 선택하는 도구인 스케줄러를 사용했다. 연구원들이 만든 계층적 모델은 MineRL 2020 대회에 참가한 다른 모든 알고리즘 및 모델을 훨씬 능가하여 놀라운 결과를 얻었다.
연구원들은 논문에서 “우리는 NeurIPS-2020 MineRL 대회의 예선 및 결승에서 1위를 차지했으며, 이는 우리의 계층적 방법인 SEIHAI의 효율성을 보여준다. 우리는 인간의 사전 작업과 샘플 효율적인 학습 기반 기술을 적절하게 결합하는 방법을 개발하는 것이 제한된 데모, 희소한 보상, 명확한 작업 구조로 복잡한 작업을 해결하는 경쟁적인 방법이라고 믿는다”고 밝혔다.




![[분석] 美 해군 차세대 공격원잠 SSN(X) ‘수중 드론 모함’ 진화](https://scimonitors.com/wp-content/uploads/2026/11/SSNX-min-150x150.jpg)



