(서울=뉴스1) 김민석 기자 = 퀄컴 테크놀로지스는 데이터센터용(렉-스케일 인프라) 차세대 AI 추론 설루션 'AI200'과 'AI250'을 공개했다고 28일 밝혔다.
퀄컴 관계자는 "AI200·AI250은 LLM과 멀티모달 모델(LMM) 등 다양한 AI 워크로드 추론 처리에 최적화한 제품"이라며 "뛰어난 메모리 용량과 효율성을 바탕으로 데이터센터 내 생성형 AI 추론을 와트당 TCO 기준 업계 최고 수준"이라고 말했다.
AI200은 랙 수준(rack-level)에서 작동하는 전용 AI 추론 설루션이다. 카드당 768GB LPDDR 메모리를 탑재했다. LMM 추론을 지원하는 기업 업무 환경에서 최적화 성능을 발휘한다.
상위 모델 AI250은 메모리 접근 효율을 극대화한 근접 메모리 컴퓨팅(near-memory computing) 구조를 적용했다. 메모리 대역폭은 기존 대비 10배 이상 늘리면서 전력 소모는 낮췄다.
AI200·AI250 모두 액체 냉각 방식을 탑재해 열효율을 높였다. PCIe와 이더넷 연결을 지원한다. 기밀 컴퓨팅(confidential computing) 기반 보안을 적용해 민감한 AI 워크로드 환경서도 데이터를 안전하게 처리할 수 있다. 랙 단위 전력 소비는 160㎾ 수준이다.
퀄컴 관계자는 "두 제품에 하이퍼스케일러급 AI 소프트웨어 스택을 결합했다"며 "이 스택은 머신러닝·추론·생성형 AI 프레임워크를 폭넓게 지원한다"고 설명했다.
AI200은 내년, AI250은 2027년 상용화 예정이다.
두르가 말라디 퀄컴 테크놀로지스 수석부사장 겸 데이터센터 본부장은 "우수한 TCO와 보안 체계에 개방형 생태계와도 연결된다"며 "기업들이 보다 빠르고 유연하게 생성형 AI를 도입할 수 있을 것"이라고 말했다.
ideaed@news1.kr
