네이버클라우드 "AI 에이전트 시대 핵심은 GPU 효율증대 기술"

(서울=뉴스1) 김민석 기자

"사용자가 10배 늘더라도 GPU 사용량이 10배 늘지 않아야 합니다. 우리는 이용자가 10배 증가할 때 GPU는 2~3배만 증설해도 되독록 하는 기술을 적극 개발·검토하고 있습니다."

정권우 네이버 클라우드 수석 ML 엔지니어(기술 리더)가 18일 서울 강남구 코엑스에서 열린 '엔비디아 AI 서울 데이'에서 "AI 에이전트 핵심은 얼마나 비용 효율적으로 서비스할 수 있는가"라고 말했다.

정 기술리더는 "생성형 AI에서 AI 에이전트로 전환되면서 GPU 인퍼런스 양이 10배에서 20배로 늘었다"며 "에이전트는 매 쿼리마다 여러 번의 모델 실행과 도구 호출이 필요하기 때문"이라고 설명했다.

이어 "엔비디아의 동적 배치 처리 시스템(dynamic batching) 등 효율적 서빙 기능을 접목해 장기적으로 GPU 비용을 통제하는 방향으로 가고 있다"며 "에이전트 개발의 핵심은 품질은 높이고 에러율은 줄이는 것이다. 현재 GPU 환경과 개발자 인력으로 끌어올릴 수 있는 최고의 품질을 먼저 확보한 후 속도를 챙기고 비용을 줄이는 단계로 갈 것"이라고 언급했다.

정 기술리더는 "이 순서를 지키는 이유는 근본적인 트레이드오프 때문"이라며 "초기부터 속도와 비용을 최적화하면 원하는 품질을 절대 달성할 수 없고 결국 이용자가 외면하는 에이전트가 나온다"고 진단했다.

배희정 케이엠에스랩(KMSLAB) 대표도 최신 GPU 확보를 넘어 GPU를 효율적으로 사용할 수 있는 저전력 아키텍처 기술과 데이터 전처리를 통한 고효율 학습 기술 고도화에 나서야 한다고 제언한 바 있다.

정 기술리더는 1분기 출시가 예정된 '쇼핑 에이전트'(에이전트N)와 관련 "핵심 시나리오는 2가지"라며 "정답형은 '손흥민 선수의 새로운 유니폼을 사고 싶다"는 명확한 구매 의도일 때 즉시 구매 링크를 제공하는 것이고 탐색형은 '아이가 밤에 기침을 하는데 가습기를 사줘야 할까' 등 모호할 땐 제품 설명과 선택 근거를 제시하는 것"이라고 말했다.

이어 "쇼핑 에이전트가 동작했을 때 사용자 경험이 개선되는 것이 무엇보다 중요하다"며 "품질·속도·비용의 균형을 제대로 맞춰야 실제 서비스 단계에서 안정성과 장기적 경쟁력을 확보할 수 있을 것"이라고 강조했다.

엔비디아는 NEMO 에이전트 툴킷을 활용해 네이버 클라우드가 구축 중인 에이전트 워크로드 일부를 통합하고 있다. 또 프로파일링 및 최적화 기능으로 추가적인 성능 개선 인사이트도 도출 중이다.

소우진 엔비디아 설루션 아키텍트는 "엔비디아는 한국 정부, 네이버 클라우드를 비롯한 많은 한국 기업들과 손잡고 산업 전반에 걸쳐 AI 에이전트 시스템을 확장하고 있다"며 "각 산업군에 특화한 AI 에이전트들이 대거 만들어질 것으로 기대한다"고 했다.

ideaed@news1.kr