"언더독의 반란"…AAII '독파모' 점수 모티프·업스테이지 1·2위

(서울=뉴스1) 이기범 기자 = 글로벌 AI 모델 성능 종합 평가 플랫폼 'AAII'(Artificial Analysis Intelligence Index)에서 국내 '독자 AI 파운데이션 모델'(독파모) 4종의 점수가 공개됐다. 벤치마크 점수상으로는 모티프테크놀로지스가 가장 앞섰으며, 이어 업스테이지, SK텔레콤, LG AI연구원 모델 순으로 나타났다.

13일 AAII에 따르면 모티프테크놀로지스의 '모티프3'는 47점으로 독파모 2차 단계 평가 모델 중 가장 높은 점수를 받았다. 현재 최상위 모델로 평가된 앤트로픽 '클로드 오퍼스5'(63점)와는 격차가 있지만 구글 '제미나이3.6 플래시'(52점)에 근접한 수준이다.

업스테이지의 '솔라 오픈2'는 37점을 기록했다. 경량 AI 모델인 구글 '제미나이3.5 플래시-라이트'(37점)와 같은 점수다.

이어 SK텔레콤의 '에이닷엑스 케이투'(A.X K2)가 35점, LG AI연구원의 'K-엑사원 2.0'이 31점을 기록했다.

스타트업들의 약진이 눈에 띈 결과로, 가장 늦게 독파모에 합류한 모티프가 벤치마크 점수상에서 가장 앞서는 이변을 일으켰다. 특히 매개변수(파리미터) 7500억 개(750B) 규모의 국내 최대 모델 크기를 앞세운 LG AI연구원의 결과물이 가장 낮은 점수를 기록했다는 점에서 예상을 뒤엎는 결과라는 평가가 나온다.

앞서 과기정통부는 글로벌 AI 모델 평가기관 아티피셜 애널리시스에 독파모 성능 평가를 의뢰한 바 있다. AAII 점수는 독파모 2차 평가 벤치마크 40점 중 25점을 차지하는 것으로 알려졌다. 나머지 15점은 한국지능정보사회진흥원(NIA)의 자체 벤치마크가 반영된다.

2차 평가 배점은 벤치마크 평가 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성됐다. 세부 평가 요소는 바뀌었지만 큰 틀의 배점은 1차 평가와 동일하다.

아울러 사용자 평가에는 국민 평가단 200명의 AI 모델 사용 평가가 반영된다. 국민 평가단의 독파모 평가는 8일부터 11일까지 진행됐다. 이에 따라 과기정통부는 조만간 평가 배점을 합산한 2차 단계 평가 결과를 발표할 계획이다. 이번 평가에서는 LG AI연구원, SK텔레콤, 업스테이지, 모티프 등 4개 기업 중 1곳이 탈락한다.

Ktiger@news1.kr