4년마다 한 번 열리는 ACM( Association of Computing Machinery) FCRC(Federated Computing Research Conference) 2019가 6월 22일부터 28일까지 미국 애리조나주 피닉스(Phoenix)에서 개최됐다.

FCRC는 컴퓨터 과학 및 엔지니어링 각 분야의 연구자들 간 의사소통의 장이다. 참석자는 메인 컨퍼런스와 동시에 개최되는 관련 기술 세션에 참석할 수 있었다.

튜링렉처

올해 ACM의 2018 A.M. 튜링어워드(Turing Award)를 수상한 구글(Google) 고프리 힌튼(Geoffrey Hinton)과 페이스북(Facebook) 얀 르쿤(Yann LeCun )은 23일(현지시간) 오후 피닉스 컨벤션 센터 심포니 홀에서 FCRC 튜링렉처(Turing Lecture)를 발표했다.

힌튼과 르쿤은 캐나다 몬트리올대 조슈아 벤지오(Yoshua Bengio)와 함께 튜링상을 수상, 심층신경망(deep neural networks)을 컴퓨팅의 핵심 구성 요소로 정립하고 엔지니어링 혁신을 위한 개념 기반을 개발했다. 또 실험을 통해 심층신경망의 실질적인 이점을 입증해 엔지니어링 발전에 기여했다.

(왼쪽)얀 르쿤, 고프리 힌튼 강연 장면.

튜링렉처에서 고프리 힌튼은 “심층학습 혁명(The Deep Learning Revolution)”, 얀 르쿤은 “심층학습 혁명 : 후편”을 주제로 강연했다.

강연에서 힌튼은 신경망 비전의 미래에 대해 합성곱 신경망(CNN)의 큰 성공에도 불구하고 인간과 같은 방식으로 대상을 인지하지 못하는 한계를 지적했다. 또 그는 인공 신경망이 느린 가중치(weights) 적응과 신경 활동의 빠른 변화라는 단지 두가지 타임 스케일을 가진 반면 시넵스는 모든 다양한 타임스케일에 적응한다고 설명했다. 시넵스의 이 같은 특성으로 단기 메모리를 위한 빠른 가중치 사용은 신경망에 다양한 개선 효과를 주며, 최적화를 향상하고, 진정한 재귀성(true recursion)을 가능케한다고 강조했다.

24일에는 위스콘신 메디슨대(University of Wisconsin-Madison) 제임스 스미스(James E. Smith) 교수가 FCRC 전원참석 세션(Plenary Session) 연단에 섰다. 스미스는 ‘두뇌 신피질을 역설계하기 위한 로드맵(A Roadmap for Reverse-Architecting the Brain’s Neocortex)’을 주제로 강연했다. 그는 대뇌 신피질(neocortex)을 모사하는 컴퓨팅 패러다임은 실용적이며 과학적 중요성을 가진다고 강조했다. 오늘날 한계에 직면한 고전적 컴퓨팅 아키텍처 연구는 이같은 비전통적인 접근법을 필요로 한다고 덧붙였다.

스미스는 수년간의 연구와 실험을 바탕으로 체계적이고 상향식으로 잠재적 로드맵을 제시했다. 스미스에 따르면, 뉴로모픽 컴퓨테이션 연구의 첫 번째 중요한 목표는 감독없이 지속적으로 학습할 수 있는 피드포워드(feedforward) 방식 신경망을 개발, 생물학적 추론의 높은 에너지 효율을 구현하는 것이다. 그는 첫 번째 성과에 도달하고 향후 로드맵이 조금 더 명확해지면 상위 수준의 인지 기능을 역설계도 가능하다고 보았다. 이 같은 연구가 향후 수십 년 동안 컴퓨터 아키텍처 연구를 선도할 것이라는 설명이다.

ISCA 포스터 세션

민간 및 공공 클라우드 워크로드의 대규모 명령어(Instruction) 작업 세트는 빈번한 명령어 캐시 미스(Cache Miss)로 수백만 달러의 비용을 초래한다. 캐시 미스란 CPU가 참조하고자 하는 메모리가 캐시에 존재하지 않을 때를 의미한다.

그란트 에이어스(Grant Ayers) 스텐포스대 박사과정.

스텐포드대 그란트 에이어스(Grant Ayers)와 동료연구진들이 참여한 연구(논문:’AsmDB: understanding and mitigating front-end stalls in warehouse-scale computers’)는 프론트 엔드 병목 현상을 추적하는 새롭고 상시 작동하는 플릿와이드(fleet-wide) 모니터링 시스템 ‘AsmDB’의 설계 및 적용을 제시했다. AsmDB는 하드웨어 지원을 사용해 전체 프로그램 동적 제어 흐름 그래프를 작성하기 위해 급격한 실행 추적, 전체 시간 및 공간 샘플링 및 정교한 오프라인 후처리를 수집한다.

또 AsmDB 데이터에 대한 종단분석을 기반으로 프런트 엔드 멈춤 원인에 대한 두 가지 자세한 정보를 제공한다. 핫 코드와 함께 콜드 코드는 중요 캐시 조각화를 초래하고 대응하는 많은 수의 명령어 캐시 미스를 초래한다. 전통적인 캐시 또는 넥스트라인 프리페칭(next-line prefetching) 전략을 따르지 않는 디스턴트 브렌치 및 요청은 캐시 미스의 상당 부분을 차지한다.

프리페치(Prefetch)란 사용자의 PC 사용패턴을 분석한 뒤 메모리에 응용프로그램(Application)이 필요로 하는 파일과 데이터를 먼저 올려놓게 하는 것으로 부팅과 프로그램 실행 시간을 줄여준다.

연구팀은 이 목표로 두 가지 최적화 프로토 타입을 제안했다. ‘memcmp(C언어 메모리 조작함수 중 하나)’에 초점을두고 세밀한 레이아웃 최적화가 중요한 이점을 가져 오는 방법을 제시했다. 원거리 점프의 목표를 놓친 경우 소프트웨어 코드 프리페칭을 위한 새로운 하드웨어 지원을 제안하고 정적 프로그램 흐름 분석과 동적 미스 프로파일을 결합한 새로운 피드백 지향 컴파일러 최적화를 프로토타입화, 몇 가지 대규모 데이터센터 작업부하에 상당한 이점을 입증했다.

이 제안은 소프트웨어를 통해 효율적이고 확장 가능한 방식으로 프리페칭을 수행함으로써 하드웨어 수정을 최소화 한다. 시뮬레이션 결과에 따르면 이러한 접근 방식은 무시할 수있는 오버헤드(overhead)로 최대 96 %의 명령어 캐시미스를 제거할 수 있다. 오버헤드는 어떤 처리를 하기 위해 들어가는 간접적인 처리 시간 · 메모리 등을 말한다.

에이어스는 “연구는 인텔이 CPU칩의 한 부분만 수정하면 바로 데이터 센터에 적용 가능하다”고 말했다.

인텔(intel) 스티븐 텔사(Stephen J. Tarsa)와 동료연구진은 ‘머신러닝을 활용한 포스트실리콘 CPU 채택 실용화(Post silicon adaptation made practical using machine learning) 연구를 발표했다.

서울대 포스텍 공동연구로 장한휘 박사와 동료 연구진의 ‘메모리-증강 신경망을 위한 빠르고 확장가능한 시스템 설계(A fast and scalable system architecture for memory-augmented neural networks)’, 서울대 이규현 박사와 동료연구진이 참여한 ‘메모리 측면 사례 연구를 통한 극저온 컴퓨터 아키텍처 모델링(cryogenic computer architecture modeling with memory-side case studies) 등도 포스터 세션에 참여했다.

서울대 포스텍 공동연구논문(A fast and scalable system architecture for memory-augmented neural networks) 포스터.

*AMC FCRC 2019 참여 컨퍼런스

COLT: The 32nd Annual Conference on Learning Theory

e-Energy: The Tenth ACM International Conference on Future Energy Systems

EC: 20th ACM Conference on Economics and Computation

HPDC: The 28th International Symposium on High Performance Parallel and Distributed Computing

ICS: International Conference on Supercomputing

ISCA: The 46th International Symposium on Computer Architecture

ISMM: International Symposium on Memory Management

IWQoS: IEEE/ACM International Symposium on Quality of Service

LCTES: Languages, Compilers, Tools, and Theory of Embedded Systems

PLDI: Programming Languages and Programming Systems Research

SIGMETRICS/IFIP Performance 2019: Measurement-Based Performance Evaluation Techniques

SPAA: 31st ACM Symposium on Parallelism in Algorithms and Architectures

STOC: 51st ACM Symposium on the Theory of Computing