"DPU 넘어 AI 서비스로"…망고부스트, 추론 플랫폼 사업 확대

(서울=뉴스1) 김민석 기자 = 인공지능(AI) 인프라 기업 망고부스트가 장비·소프트웨어 공급을 넘어 AI 추론 서비스로 사업을 넓힌다. 고객이 그래픽처리장치(GPU) 서버를 직접 구축하지 않고도 AI 모델을 이용할 수 있는 플랫폼을 앞세워 개발자와 스타트업을 공략한다.

망고부스트는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 서버리스 AI 추론 플랫폼 '망고 인퍼런스'를 소개했다. 망고 인퍼런스는 7월 미국 AMD 행사에서 선보인 서비스로, 이날 국내 시장을 대상으로 주요 기능과 사업 전략을 공개했다.

망고 인퍼런스는 API 키를 발급받아 AI 모델을 호출하는 서비스다. 서버리스는 서버가 없다는 뜻이 아니라 고객이 서버 구축과 운영을 직접 맡지 않는 방식이다. 망고부스트가 모델과 GPU, 데이터센터 인프라를 관리하고 고객은 토큰 사용량에 따라 비용을 지불한다.

주요 고객은 자체 서비스에 AI 기능을 도입하려는 개발자와 스타트업, 시스템통합(SI) 기업이다. 별도 인프라 구축 없이 모델을 선택해 이용할 수 있다. 관리 화면에서는 API 키와 서비스 사용량, 요청 지연 시간, 토큰 사용량, 결제 내역 등을 확인할 수 있다.

망고부스트는 기존 애플리케이션과의 연결 편의성도 내세웠다. AMD에 따르면 망고 인퍼런스는 오픈AI·앤트로픽의 API와 호환되는 인터페이스를 지원한다. 개발자는 호환 애플리케이션의 설정을 바꿔 서비스에 연결하고 하나의 접속 경로에서 여러 오픈 모델을 이용할 수 있다.

2022년 데이터처리장치(DPU) 기업으로 출발한 망고부스트는 GPU 서버와 저장장치, 추론 최적화 소프트웨어로 제품군을 늘렸다. 이들 기술을 묶어 고객에게 AI 추론 서비스를 제공하는 단계로 나아간 것이다.

기존 장비·소프트웨어 사업에 이용량에 따라 과금하는 서비스가 추가되는 구조다. 고객의 모델 호출이 늘면 서비스 매출도 확대될 수 있다. 다만 GPU와 데이터센터를 안정적으로 운영하고 비용을 관리해야 하는 부담도 함께 커진다.

서비스 확대를 위한 인프라도 준비하고 있다. 내년 하반기에는 최대 5MW 규모로 확대하는 방안을 추진한다. 현재 가동 규모가 아닌 향후 확장 계획이다.

회사는 자체 개발한 하드웨어와 소프트웨어를 결합한 풀스택 기술을 차별점으로 제시했다.

저장장치에서 GPU까지 데이터를 전달하는 과정에서 발생하는 병목을 줄여 추론 성능과 운영 효율을 높이겠다는 전략이다. 기술 경쟁력을 실제 고객 확보와 반복 매출로 연결할 수 있는지가 관건이 될 전망이다.

김장우 대표는 "하드웨어부터 소프트웨어까지 직접 설계한 풀스택 기술력이 망고 인퍼런스의 차별점"이라며 "망고부스트는 빠르고 효율적이고 신뢰할 수 있는 추론의 새로운 기준을 제시하겠다"고 말했다.

ideaed@news1.kr