카카오가 만든 AI 평가 지표, 세계 3대 AI 학회서 인정받았다

(서울=뉴스1) 김민재 기자 = 카카오(035720)의 인공지능(AI) 연구 개발 성과가 세계 3대 AI 학회 선택을 받았다.

카카오는 자체 개발한 AI 모델 오케스트레이션 능력 평가 지표 '오케스트레이션 벤치마크'가 'ICLR 2026' 논문으로 채택됐다고 3일 밝혔다.

ICLR(국제표현학습학회·International Conference on Learning Representations)은 AI 분야 학술대회다. 올해는 약 1만 9000건의 논문이 제출됐다. 이 중 약 28%가 채택됐다.

카카오는 대규모언어모델(LLM)이 작업을 계획하고 조율하는 '에이전틱 AI'로 진화하는 추세에 맞춰 이번 벤치마크를 개발했다.

카카오 측은 "기존의 LLM 벤치마크는 복잡한 사용자 요청을 해석하고 적절한 도구를 호출하는 오케스트레이션 능력을 온전히 평가하지 못했다"고 설명했다.

카카오가 제작한 '오케스트레이션 벤치마크'는 실제 서비스 시나리오를 기반으로 AI 모델의 작업 계획과 도구 실행을 분리해 정밀하게 평가한다.

이번 벤치마크는 쇼핑과 금융 등 17개 서비스 도메인과 100여 개의 가상 도구로 구성했다. 요청 변경이나 추가 질문 등 서비스상 대화 흐름을 토대로 시나리오를 구축했다.

모든 평가 데이터는 AI 어노테이터 수작업으로 구축하고 검증했다. 한국어와 영어를 지원한다. 카카오는 해당 논문을 오픈소스 플랫폼 깃허브(GitHub)에 공개했다.

카카오 관계자는 "오케스트레이션 벤치마크는 에이전틱 AI가 안정적으로 작동하는지 평가하는 핵심 도구"라며 "앞으로도 관련 연구를 지속하겠다"고 말했다.

minjae@news1.kr