'AI 데이터센터가 하나의 컴퓨터처럼 작동'…KAIST, 새로운 구조 제시

(대전=뉴스1) 김종서 기자 = 한국과학기술원(KAIST)은 전기및전자공학부 정명수 교수와 교원창업기업 '팹리스 파네시아' 연구진이 메타 연구진과 함께 차세대 AI 데이터센터 구조를 제시했다고 9일 밝혔다.

최근 생성형 AI와 초거대 AI가 발전하면서 AI 연산에 많게는 수천 개의 가속기를 동시에 사용하는 시대가 되고 있다. 하지만 가속기를 많이 연결한다고 무조건 빨라지는 것은 아니다. 여러 사람이 한 줄로 물건을 전달할 때 한 사람만 늦어도 전체 작업이 밀리는 것처럼, 일부 가속기의 데이터 전달이 늦어지면 전체 AI 연산도 느려질 수 있다.

따라서 개별 반도체의 성능뿐 아니라 수많은 가속기와 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 중요하다.

공동 연구진은 이를 해결하기 위해 CPU·가속기·메모리를 빠르게 연결하고 자원을 공유하는 국제표준 기술(CXL)을 활용해 CPU와 AI 가속기, 메모리를 하나로 묶고 이를 데이터센터 전체로 확장하는 구조를 제시했다.

기존 데이터센터가 여러 컴퓨터가 네트워크를 통해 협업하는 방식이라면, 이번 구조는 서버 간 경계를 낮춰 CPU·가속기·메모리를 긴밀하게 연결한다. 데이터센터 전체를 ‘하나의 거대한 컴퓨터’처럼 움직이게 하는 것이 핵심이다.

현재 엔비디아의 엔브이링크(NVLink)나 유에이링크(UALink) 등도 여러 가속기를 빠르게 연결하지만 주로 랙 내부 연결에 초점을 둔다. 반면 이번 구조는 가속기뿐 아니라 CPU와 메모리까지 CXL로 연결하고 그 범위를 데이터센터 전체로 확대한다.

연구진이 제시한 구조에서는 하나의 연결 영역에 최대 960개의 가속기를 연결할 수 있다. 연구진에 따르면 현행 NVLink 기반 랙보다 약 13배 큰 규모다.

데이터 이동 시간도 기존 네트워크 기반 구조의 마이크로초 수준에서 수백 나노초 수준으로 줄일 수 있다. AI 데이터센터에서는 이러한 작은 지연도 반복되면 전체 성능에 큰 영향을 미친다.

운영도 유연해진다. CPU·가속기·메모리를 각각의 자원처럼 연결해 문제가 생긴 부품만 교체하거나, 남는 연산·메모리 자원을 필요한 곳에 활용할 수 있다.

결국 이번 연구는 AI 데이터센터의 기본 단위를 '서버'에서 '데이터센터 전체'로 확장하는 설계 방향을 제시한 것이다. 수많은 컴퓨터의 집합에서 한발 더 나아가 데이터센터 자체가 하나의 거대한 컴퓨터처럼 작동하도록 하는 개념이다.

연구진은 CXL 기반 구조를 더 큰 규모의 데이터센터에 검증하는 한편, 광인터커넥트 기술과의 결합을 통해 지금의 물리적 거리 한계를 넘어서는 연구를 이어갈 계획이다.

파네시아 대표인 정 교수는 "AI가 거대해질수록 개별 가속기의 성능만큼 수많은 가속기와 메모리를 얼마나 빠르고 효율적으로 연결하느냐가 중요하다"며 "이번 연구는 CXL을 기반으로 데이터센터 전체를 하나의 컴퓨팅 시스템처럼 동작시키는 차세대 AI 인프라의 방향을 제시했다는데 의미가 있다"고 말했다.

한편 이번 연구는 국제학술지 네이처 리뷰 일렉트리컬 엔지니어링(Nature Reviews Electrical Engineering)에 게재됐다.

jongseo12@news1.kr