연구모식도. (KAIST 제공)© 뉴스1

KAIST 전산학부 김민수 교수 연구팀이 인공지능 딥러닝 모델들을 처리하기 위해 필수적으로 사용되는 기계학습 시스템을 세계 최고 수준의 성능으로 끌어올렸다.

향후 초대규모 인공지능 모델 등 산업적 측면에서 파급 효과가 클 것으로 기대된다.20일 KAIST가 이번에 개발한 기술은 세계 최고 수준의 행렬 연산자 융합 기술(일명 FuseME)이다.

일반적으로 딥러닝 모델은 행렬 곱셈, 행렬 합, 행렬 집계 등의 많은 행렬 연산자들로 구성된 방향성 비순환 그래프(DAG) 형태의 질의 계획으로 표현돼 기계학습 시스템에 의해 처리된다.

하지만 클러스터의 사양에 비해 모델과 데이터 규모가 커지면 처리에 실패하거나 시간이 오래 걸리는 근본적인 문제가 있었다.이에 연구팀은 DAG 질의 계획을 구성하는 각 행렬 연산자로부터 생성되는 일종의 ‘중간 데이터’를 메모리에 저장하거나 네트워크 통신을 통해 다른 컴퓨터로 전송하는 것이 문제의 원인임에 착안했다.

중간 데이터를 저장하지 않거나 다른 컴퓨터로 전송하지 않도록 여러 행렬 연산자들을 하나의 연산자로 융합하는 세계 최고 성능의 융합 기술인 FuseME를 개발해 문제를 해결했다.

이 기술은 수십 개 이상의 행렬 연산자들로 구성되는 DAG 질의 계획에서 어떤 연산자들끼리 서로 융합하는 것이 더 우수한 성능을 내는지 비용 기반으로 판별해 그룹으로 묶는다.

이어 클러스터의 사양과 네트워크 통신 속도 등을 고려해 각 융합 연산자 그룹을 메모리 부족으로 처리에 실패하지 않으면서 이론적으로 최적 성능을 낼 수 있는 CFO라 불리는 연산자로 융합함으로써 한계를 극복했다.

이때 행렬 곱 연산자까지 포함해 연산자들을 융합하는 것이 핵심이다.

또 텐서플로우나 시스템DS가 처리할 수 없는 훨씬 더 큰 규모의 모델 및 데이터를 처리하는 데 성공함을 보였다.

특히 FuseME의 CFO 융합 연산자는 종래의 최고 수준 융합 연산자와 비교해 처리 속도를 최대 238배 향상시키고 네트워크 통신 비용을 최대 64배 감소시키는 사실을 확인했다.

한편 이번 연구 성과는 지난 16일 미국 필라델피아에서 열린 데이터베이스 분야 최고 국제학술대회 중 하나인 ‘ACM SIGMOD’에서 발표됐다.


km5030@news1.kr