인공지능(AI) 모델이 거대화되면서 발생하는 고질적인 ‘메모리 병목 현상’을 획기적으로 개선할 수 있는 차세대 압축 기술이 개발됐다.
KAIST 연구진이 공동 참여한 국제 연구팀은 AI 연산 과정에서 데이터 전송 효율을 극대화하는 ‘터보퀀트(TurboQuant)’ 기술을 공개했다. 이번 연구는 기존 AI 하드웨어의 한계를 뛰어넘어 연산 속도를 높이고 에너지 소모를 줄이는 데 결정적인 역할을 할 것으로 기대된다.
‘더 작게, 더 빠르게’
터보퀀트의 가장 큰 특징은 최대 6배에 달하는 데이터 압축 성능이다. 연구팀은 AI 모델이 학습하거나 추론할 때 주고받는 방대한 양의 데이터를 성능 저하 없이 압축하는 데 성공했다.
• 메모리 병목 해소: 연산 장치(GPU 등)와 메모리 사이의 데이터 이동 통로가 좁아 발생하는 속도 저하 문제를 해결했다.
• 연산 효율 극대화: 데이터 크기는 줄이면서도 AI 모델의 정확도는 유지하여, 동일한 하드웨어에서 더 복잡한 연산을 빠르게 수행할 수 있다.
• 저전력 설계: 데이터 전송 시 발생하는 전력 소모를 대폭 낮춰 친환경 AI 서비스 구현이 가능해졌다.
그동안 AI 업계는 고성능 HBM(고대역폭메모리) 채택 등 하드웨어 개선에 집중해 왔으나, 이번 연구는 소프트웨어와 알고리즘 차원에서도 병목 현상을 획기적으로 뚫을 수 있음을 증명했다. 특히 온디바이스 AI(On-device AI)나 거대 언어 모델(LLM) 구동 환경에서 그 효과가 극대화될 전망이다.
연구 관계자는 “터보퀀트는 제한된 메모리 자원 내에서 최적의 AI 성능을 끌어내는 혁신적인 기술”이라며, “앞으로 자율주행, 실시간 번역, 스마트 팩토리 등 초저지연이 필요한 다양한 분야에 핵심 기술로 활용될 것”이라고 밝혔다.
