셀레브라스, 최초의 엑사플롭 스케일 AI 슈퍼컴퓨터 개발
| | | | | |

셀레브라스, 최초의 엑사플롭 스케일 AI 슈퍼컴퓨터 개발

미국 실리콘 밸리 스타트업 셀레브라스 시스템즈(Cerebras Systems)가 최초의 AI 슈퍼컴퓨터를 최근 공개했다.

셀레브라에 따르면 안드로메다(Andromeda)는 16비트 반정밀도에서 1엑사플롭(exaFLOPS) 이상의 AI 연산 능력을 제공한다. 엑사플롭은 1초에 퀸틸리언(quintillion, 100경)번의 부동소수점 연산이 가능한 수준이다. 

Andromeda는 그 자체로 함께 연결된 16개의 Cerebras C-2 컴퓨터 클러스터다. 각 CS-2에는 현재까지 만들어진 가장 큰 실리콘 칩인 웨이퍼 스케일 엔진(Wafer Scale Engine) 칩(WSE-2)이 포함되어 있으며 85만개의 코어로 구성된 2조 6000억 개의 트랜지스터로 채워져 있다.

Cerebras는 캘리포니아주 산타클라라의 데이터 센터에 3,500만 달러를 들여 Andromeda를 구축했다. 대규모 언어 모델과 같은 응용 프로그램에 맞게 조정됐으며 이미 학술 및 상업 작업에 사용되고 있다.

핵무기 시뮬레이션을 할 수 있는 미국 오크리지 국립 연구소(Oak Ridge National Labs)의 슈퍼컴퓨터 프론티어(Frontier)는 올해 64비트 배정밀도 형식을 기반으로 1엑사플롭 성능을 돌파했다. 현재 세계에서 가장 빠른 프론티어 슈퍼컴퓨터 구축에는 6억 달러가 들었다.

Cerebras는 “Andromeda는 GPT-3, GPT-J 및 GPT-NeoX를 포함한 GPT급 대형 언어 모델 전반에서 간단한 데이터 병렬 처리를 통해 거의 완벽에 가까운 확장성을 제공한다”고 밝혔다.

Cerebras WSL2 칩은 대략 8.5인치 정사각형이며 2조 6천억 개의 트랜지스터를 담고 있다. credit:Cerebras.

Cerebras에 따르면 Andromeda에 더 많은 CS-2 컴퓨터 장치를 추가함에 따라 신경망의 훈련 시간이 “거의 완벽한 비율”로 감소한다. 일반적으로 GPU 기반 시스템을 사용하여 더 많은 컴퓨팅 성능을 추가하여 딥 러닝 모델을 확장하려면 하드웨어 비용이 증가함에 따라 수익이 감소할 수 있다. 또한 Cerebras는 자사의 슈퍼컴퓨터가 GPU 기반 시스템이 할 수 없는 작업을 수행할 수 있다고 주장한다.

여러 사용자가 원격으로 Andromeda에 액세스할 수 있으며 상업용 작문AI인 JasperAI와 ANL(Argonne National Laboratory), 케임브리지 대학에서 이미 연구에 활용하고 있다.

사이언스모니터 뉴스레터
AI·양자·R&D 핵심 해설을 주 2회(화·금) 이메일로 받아 보세요.

Similar Posts

  • | | |

    2019 최고과학기술인상 수상 김기남 삼성전자 부회장

    1983년 세계를 깜짝 놀라게 한 국내 최초 64K D램 개발부터, 2014년 20나노급 4기가 D램 세계 최초 개발 및 양산, 2017년 3차원 V-NAND 플래시 메모리 양산, 특히, 글로벌 경쟁력 확보가 시급한 시스템 반도체 산업 발전을 위한 세계 최초 14나노 핀펫 및 극자외선(EUV) 적용 7나노 제조공정기술에 이르기까지 대한민국의 반도체 기술 개발 역사에는 김기남 부회장이 늘 함께했다. 30년…

  • | | |

    [사진]AI 인재 양성, 국내 첫 P-테크 ‘서울 뉴칼라 스쿨’ 개교

    한국IBM이 4일 오전 서울 세명컴퓨터고등학교에서 국내 첫 P-테크(P-TECH) 학교인 ‘서울 뉴칼라 스쿨’이 개교하고 신입생 52명의 입학식을 가졌다. Facebook Share on X LinkedIn WhatsApp Email Copy Link Related posts: AI 분자상태 모델링, 양자 화학 난제 해결 수직 적층형 차세대 광소자로 효율·광스핀홀 효과 극대화 인공지능과 미래사회, 경제성장‧일자리‧거버넌스 문제들 편집팀 많이 본 기사1AI 반도체 수출통제, ‘원격 접속’까지…미 BIS…

  • | | | | |

    과기‧법무부, AI식별추적 출입국시스템 도입

    과학기술정보통신부와 법무부는 4월 30일 법무부에서 ‘인공지능(AI) 식별추적시스템 사업’의 성공적인 추진을 위한 업무협약(MOU)을 체결했다. 장석영 과기정통부 정보통신정책실장과 차규근 법무부 출입국‧외국인정책본부장이 참석한 가운데 진행된 이번 업무협약은 데이터‧인공지능 활성화 역할을 담당하는 과기정통부와 첨단 출입국 시스템을 확보코자 하는 법무부가 머리를 맞대 논의하여 나온 결과물이다. 인공지능 중 컴퓨터 비전 분야에서 안면인식 기술 등에 대한 활용도는 갈수록 높아지고 있으나, 국내에서는 그간…

  • | | | | | |

    혁신적 뉴로모픽 칩 훈련법

    과학자들이 뉴로모픽 칩을 훈련시키는 혁신적인 방법을 고안했다. 뉴로모픽 칩은 인간 두뇌의 구조를 기반으로 하는 컴퓨팅 장치다.  독일 에인트호번 공과대학과 미국 노스웨스턴대학 연구진이 외부 훈련 없이 온칩 학습이 가능한 새로운 뉴로모픽 바이오센서를 개발했다. 개념 증명으로 연구자들은 바이오센서를 사용하여 땀 샘플을 기반으로 낭포성 섬유증을 진단했다. 논문은 Nature Electronics에 게재됐다.  연구팀이 개발한 “스마트 바이오센서”는 뉴로모픽 바이오센싱 컴퓨터다. 이 컴퓨터는 뉴런이 인간 두뇌의 다른 뉴런과 통신하는 방식에서 영감을 얻어 작동하는 장치다. 헬스케어 장치에서 실제로 사용하려면 뉴로모픽 기술은 낮은 전력 요구 사항, 센서와의 인터페이스 및 사용 훈련이 용이해야 한다. 이 중 처음 두 가지는 유기 기반 전자 장치로 해결할 수 있다. 그러나 후련 부분은 핵심 문제였다. 지금까지 뉴로모픽 칩의 신경망은 외부 소프트웨어를 사용하여 훈련되었는데, 이는 시간이 많이 걸리고 에너지가 비효율적일 수 있는 프로세스다. 연구팀은 “이제 우리의 새로운 칩은 환자 데이터를 실시간으로 처리하여 즉시 학습할 수 있다. 이는 확실히 훈련 과정의 속도를 높이고 실제 대화형 생체 응용 분야에서 칩의 사용을 촉진하는 데 도움이 된다”고 말했다. 연구진은 새로운 칩의 효과를 테스트하기 위해 이를 사용하여 유전병인 낭포성 섬유증을 테스트했다. 낭포성 섬유증은 폐, 소화기 계통 등의 장기에 손상을 줄 수 있는 유전성 질환이다. 이 질병을 테스트하는 기존 방법 중 하나는 높은 수준의 염화물 음이온이 낭포성 섬유증의 지표인 땀 테스트를 이용하는 것이다. 낭포성 섬유증을 테스트하는 데 사용할 수 있는 신뢰할 수 있는 센서가 이미 있으므로 이 테스트를 통해 연구원들은 온칩 학습 센서에 대한 확인하기 쉬운 사례 연구를 얻을 수 있었다. 연구진의 뉴로모픽 바이오센서는 센서 모듈, 하드웨어 신경망, 출력 분류 부분의 세 가지 주요 부분으로 구성된다. 땀 한 방울을 센서 모듈에 추가한 후 이온 선택형 전극을 통해 땀 속의 염화물 및 기타 이온 농도를 감지한다. 그런 다음 이러한 신호는 뉴로모픽 칩 자체에 의해 처리된다. 마지막으로 분석 결과는 각각 부정적인 결과 또는 긍정적인 결과를 나타내는 녹색 또는 빨간색 표시등으로 표시된다. 주요 땀 샘플을 평가하기 위해 칩을 사용하기 전에 신경망은 지도 학습을 받아야 했다. van Doremaele는 “우리는 다양한 이온 농도와 알려진 이온 농도를 가진 다수의 땀 샘플을 생성한 후 칩에서 샘플을 테스트했다. 테스트용 칩의 결과가 잘못된 경우 칩을 수정하여 신경망의 노드 간의 가중치를 수정했다”며 “중요한 것은 우리가 하드웨어 자체에서 칩을 훈련시킨다는 것”이라고 말했다. 이는 이 연구의 주요 발전이다. 외부 소프트웨어가 없이 칩에서 신경망을 훈련할 수 있는 능력이다. van Doremaele는 “칩이 관심 문제(여기서는 땀 샘플에서 낭포성 섬유증 감지)에 대해 훈련되면 더 이상 외부 제어나 개입이 필요하지 않다”고 덧붙였다. 또한, 훈련을 받은 경우에도 칩을 다른 문제에 사용할 수 있다. 그는 “스마트 의수나 팔에 동일한 신경망 하드웨어를 사용할 경우 손이나 팔의 움직임에 대한 정보를 사용하여 신경망을 재훈련하기만 하면 된다”고 설명했다. Facebook Share on X LinkedIn WhatsApp Email Copy Link Related posts: 힐베르트 공간 다상태 양자 '큐디트' 양자컴퓨팅 새 접근 전염병 대유행대응 생활방역 솔루션 개발 추진 구글 ‘2019 유튜브 웍스 어워드’ 국내 첫 개최 staff writer 많이 본…

  • | | | |

    수 세기 만에 가장 긴 ‘거의’ 개기 월식

    이번 주에 1440년 이후 가장 긴 ‘거의(almost)’ 개기 월식을 볼 수 있다. NASA는 거의 개기 월식(almost total lunar eclipse)이 11월 18일부터 11월 19일까지 밤새 진행될 예정이라고 밝혔다. NASA는 웹사이트를 통해 “달이 11월 19일 태양과 너무 가까워지면 지구의 그림자 남쪽 부분을 통과해 거의 개기 월식이 일어날 것”이라고 예상했다. 월식은 11월 19일 9:03 UTC(한국시간 오후 6:03) 절정에…

  • | | | |

    [CVPR 2020]네이버-네이버랩스 AI 비전 기술 발표

    네이버와 네이버랩스가 컴퓨터 비전(Vision)딥러닝(Deeplearning) 분야 최고 수준 학회 에서 총 7편의 논문을 발표하고, 7개의 워크샵을 진행한다고 밝혔다. CVPR(IEEE Conference on Computer Vision and Pattern Recognition)은 세계 최대 기술 전문 단체인 IEEE와 CVF가 1983년부터 공동 주최하는 컨퍼런스로, 세계적인 연구기관들이 참석해 매년 새로운 컴퓨터 비전, 딥러닝 등 인공지능 기술 연구에 대해 공유한다. 올해 CVPR은 미국 시애틀에서 진행될…