NASA는 IBM과의 협력을 통해 지구 과학, 생물 및 물리 과학, 태양물리학, 행성 과학, 천체 물리학 분야에 맞춤화되고 선별된 과학 말뭉치를 사용하여 훈련된 포괄적인 LLM(대형 언어 모델) 제품군인 INDUS를 개발했다.
INDUS에는 인코더와 문장 변환기 두 가지 유형의 모델이 포함됐다. 인코더는 자연어 텍스트를 LLM에서 처리할 수 있는 숫자 코딩으로 변환한다. INDUS 인코더는 천체 물리학, 행성 과학, 지구 과학, 태양 물리학, 생물학 및 물리 과학 데이터를 포괄하는 600억 개의 토큰 모음에 대해 훈련됐다. IMPACT-IBM 공동 팀이 개발한 맞춤형 토크나이저는 바이오마커 및 인산화와 같은 과학 용어를 인식하여 일반 토크나이저를 개선한다.
INDUS에 포함된 50,000 단어 어휘 중 절반 이상이 훈련에 사용되는 특정 과학 영역에 고유하다. INDUS 인코더 모델은 제목/초록 및 질문/답변을 포함하여 약 2억 6,800만 개의 텍스트 쌍에 대한 문장 변환기 모델을 미세 조정하는 데 사용됐다.
IMPACT-IBM 팀은 INDUS에 도메인별 어휘를 제공함으로써 생물 의학 작업 벤치마크, 과학적 질문 답변 벤치마크 및 지구 과학 실체 인식 테스트에서 개방형, 비도메인별 LLM보다 우수한 성능을 달성했다. INDUS는 다양한 언어 작업과 검색 증강 생성을 위한 설계를 통해 연구자의 질문을 처리하고, 관련 문서를 검색하고, 질문에 대한 답변을 생성할 수 있다. 지연 시간에 민감한 애플리케이션을 위해 팀은 인코더 및 문장 변환기 모델의 더 작고 빠른 버전을 개발했다.
검증 테스트는 INDUS가 NASA에서 선별한 약 400개의 질문으로 구성된 테스트 세트에 대한 응답으로 과학 자료에서 관련 구절을 검색하는 데 탁월하다는 것을 보여준다. IBM 연구원 Bishwaranjan Bhattacharjee는 “우리는 맞춤형 어휘뿐만 아니라 인코더 모델 훈련을 위한 대규모 전문 코퍼스와 좋은 훈련 전략을 통해 뛰어난 성능을 달성했다. 더 작고 빠른 버전의 경우 신경 아키텍처를 사용했다. 모델 아키텍처를 얻기 위한 검색과 더 큰 모델의 감독을 통해 이를 훈련하기 위한 지식”이라고 말했다.
INDUS는 또한 NASA의 생물물리과학(BPS) 부서의 데이터를 사용하여 평가했다. Open Science의 NASA BPS 프로젝트 관리자인 Dr. Sylvain Costes는 INDUS 통합의 이점에 대해 이렇게 설명했다.
“INDUS를 Open Science Data Repository(OSDR) 애플리케이션 프로그래밍 인터페이스(API)와 통합함으로써 우리는 더 많은 것을 제공하는 챗봇을 개발하고 시험할 수 있었습니다. 개별 데이터세트를 탐색하기 위한 직관적인 검색 기능을 제공합니다. 우리는 현재 INDUS를 활용하여 큐레이션 팀의 생산성을 높이고 매일 필요한 수동 작업을 줄여 OSDR의 내부 큐레이션 데이터 시스템을 개선하는 방법을 모색하고 있습니다.”
NASA Goddard 지구 과학 데이터 및 정보 서비스 센터(GES-DISC)에서는 GES-DISC 데이터를 구체적으로 인용하는 출판물을 응용 연구 분야로 분류하기 위해 도메인 전문가의 레이블이 지정된 데이터를 사용하여 INDUS 모델을 미세 조정했다.
우주법 협약을 통한 민간, 비연방 파트너와의 협력은 NASA의 기관 간 구현 및 고급 개념 팀(IMPACT)이 수행하는 작업의 핵심 구성 요소다.
![[IFA2018]독일 베를린서 LG 삼성 AI솔루션·가전 '인공지능' 경쟁](http://scimonitors.com/wp-content/uploads/2018/08/사진2IFA2018_LG-클로이-로봇-150x150.jpg)
