애플 최초 거대 AI ‘MM1’ 이미지 텍스트 다중모드 LLM 개발
| | | | | | | |

애플 최초 거대 AI ‘MM1’ 이미지 텍스트 다중모드 LLM 개발

지난 한 해 동안 IT업계는 쳇GPT를 비롯한 많은 거대 언어 모델(LLM)은 고급 AI 기능을 경쟁적으로 선보여왔다.

관련 AI기술 도입에 주목받지 못했던 애플은 최신 LLM 중 하나인 구글(Google) 제미나이 AI(Gemini AI) 기술을 Apple 장치에 추가하기 위한 협상 중이라고 알려졌다.

이제 애플(Apple)은 이미지와 데이터를 모두 해석할 수 있다고 주장하는 자체 LLM(large language model)을 개발했다.

애플 컴퓨터 과학자 및 엔지니어 그룹은 새로운 MM1 다중 모드 모델 제품군과 테스트 결과를 설명하는 논문을 아르시브(arXiv) 출판전 논문 서버에 게시했다.

(왼쪽)모델 제거(ablations): 사용할 시각적 인코더, 풍부한 시각적 데이터를 제공하는 방법, 시각적 표현을 LLM에 연결하는 방법. (오른쪽) 데이터 ablations: 데이터 유형 및 혼합. 출처: arXiv(2024).

이 새로운 노력에서 연구팀은 애플이 단순히 다른 회사에서 개발한 LLM을 추가하는 데 관심이 없다는 점을 분명히 밝혔다. 대신 그들은 이미지와 텍스트 데이터를 모두 해석할 수 있는 차세대 멀티모달 LLM(Multimodal LLM, MLLM)을 개발하기 위해 노력해 왔다.

멀티모달 AI는 시각, 청각, 텍스트 정보 등 다양한 유형의 데이터 입력을 통합하고 처리하는 방식으로 작동한다. 이러한 통합을 통해 AI는 복잡한 데이터를 보다 포괄적으로 이해할 수 있어 단일 모드 AI 시스템보다 더 정확하고 상황을 인식하는 해석이 가능해진다.

Apple 연구팀은 텍스트와 이미지 데이터를 통합하여 이미지 캡션, 시각적 질문 답변 및 쿼리 학습 기능을 향상시키는 MM1 모델과 함께 멀티모달 AI를 사용하는 데 있어 큰 발전을 이루었다고 주장한다. MM1은 각각 300억 개의 매개변수를 포함하는 다중 모드 모델 제품군으로 설명하는 것의 일부다.

연구원들은 이러한 모델이 이미지 캡처 쌍, 이미지를 포함하는 문서 및 텍스트 전용 문서로 구성된 데이터세트를 활용한다고 지적한다. 연구원들은 또한 MLLM(Multimodal LLM)이 객체 수를 계산하고, 이미지의 일부인 객체를 식별하고, 일상 객체에 대한 상식을 사용하여 사용자에게 이미지가 나타내는 내용에 대한 유용한 정보를 제공할 수 있다고 주장한다.

연구원들은 또한 MLLM이 상황 내 학습이 가능하다고 주장하는데, 이는 질문을 받을 때마다 다시 시작할 필요가 없음을 의미한다. 현재 대화에서 학습한 내용을 사용한다. 팀은 모델의 고급 기능에 대한 예를 제공한다. 그 중 하나는 바에서 메뉴를 들고 있는 친구들의 이미지를 업로드하고 메뉴에 나열된 가격을 기준으로 모든 사람에게 맥주를 사는 데 드는 비용이 얼마인지 모델에 묻는 것이다.

한편, 애플은 최근 캐나다 기반 AI 스타트업 다윈AI(DarwinAI)를 비공개 금액에 인수했다. 애플은 다윈AI 공동설립자 알렉산더 웡 을 포함한 수십명의 직원들을 자체 AI팀으로 편입한 것으로 알려졌다. 다윈 AI가 특허를 보유한 익스플레이너블 AI(Explainable AI: XAI) 플랫폼은 아우디, BMW, 허니웰, ARM 등에 사용됐다.

사이언스모니터 뉴스레터
AI·양자·R&D 핵심 해설을 주 2회(화·금) 이메일로 받아 보세요.

Similar Posts