기존 연구와 CXL-ANNS의 비교(KAIST 제공)

국내 연구진이 111배 빠른 검색엔진용 CXL 3.0 기반 인공지능(AI) 반도체를 세계 최초 개발했다.

KAIST(총장 이광형)는 전기및전자공학부 정명수 교수 연구팀이 대용량으로 메모리 확장이 가능한 컴퓨트 익스프레스 링크 3.0 기술(CXL)을 활용해 검색 엔진을 위한 AI 반도체를 세계 최초로 개발했다고 25일 밝혔다.연구팀이 개발한 AI 반도체(CXL-ANNS)는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고, CXL 기반의 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다.

CXL은 중앙처리장치(CPU)-장치 간 연결을 위한 프로토콜로, 가속기 및 메모리 확장기의 고속 연결을 제공한다. 또 CXL 스위치를 통해 여러 대의 메모리 확장기를 하나의 포트에 연결할 수 있다.

그러나 CXL을 통한 메모리 확장은 로컬 메모리와 비교해 메모리 접근 시간이 증가하는 단점이 있다.데이터를 책으로 비유하면 기존 시스템은 집에 해당하는 CPU 크기의 제한으로 서재(메모리 용량)를 무한정 늘릴 수 없어 보관할 수 있는 책 개수에 제한이 있는 것이다. 이에 압축 방식은 책의 내용을 압축해 더 많은 책을 보관하는 방법이고, 스토리지 방식은 필요한 책들을 거리가 먼 도서관에서 구해오는 것과 비슷하다. CXL을 통한 메모리 확장은 집 옆에 창고를 지어 책을 보관하는 것으로 이해될 수 있다.

이에 연구팀이 개발한 AI 반도체(CXL-ANNS)는 CXL 스위치와 CXL 메모리 확장기를 사용해 근사 근접 이웃 탐색에서 필요한 모든 데이터를 메모리에 적재할 수 있어 정확도를 높이고 성능 감소를 없앴다.

또 근사 근접 이웃 탐색의 특징을 활용해 데이터 근처 처리 기법과 지역성을 활용한 데이터 배치 기법으로 CXL-ANNS의 성능을 한 단계 향상했다.

이는 마치 창고 스스로가 필요한 책들의 내용을 요약·정리해 전달하고, 자주 보는 책들은 서재에 배치해 집과 창고를 오가는 시간을 줄이는 것과 유사하다.

연구팀에 따르면 마이크로소프트, 메타, 얀덱스 등의 글로벌 정보기술(IT) 기업이 공개한 검색 데이터셋을 사용한 근사 근접 이웃 탐색의 성능 비교에서 CXL-ANNS는 기존 연구들 대비 평균 111배 성능 향상이 있었다.

특히 마이크로소프트의 상용화된 서비스에서 사용되는 방식과 비교 시 92배의 성능 향상을 보였다.

카이스트 전기및전자공학부 연구팀

정명수 교수는 "개발한 CXL-ANNS는 기존 검색 엔진의 문제였던 메모리 용량 제한 문제를 해결하고 CXL 기반의 메모리 확장이 실제 적용될 때 발생하는 메모리 접근 시간 지연 문제를 해결했다ˮ고 말했다.

연구 성과는 오는 7월 미국 보스턴에서 열리는 시스템 분야 최우수 학술대회인 유즈닉스 연례 회의 `USENIX Annual Technical Conference, 2023'에서 ‘CXL-ANNS’라는 이름으로 발표될 예정이다.


memory4444444@news1.kr