'AAII 점수 1위' 모티프…류제명 "사용성·활용성서 낮은 평가"

(서울=뉴스1) 이민주 이기범 기자 = 류제명 과학기술정보통신부 제2차관이 '독파모' 2차 평가에서 탈락한 모티프테크놀로지스에 대해 기술력은 뛰어났지만 사용성과 활용성에서 상대적으로 낮은 평가를 받았다고 설명했다.

류 차관은 18일 서울 종로구 정부서울청사에서 열린 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과 브리핑에서 "모티프는 AAII 점수가 굉장히 높은 수준으로 아주 눈에 띄는 성과를 보여준 것은 사실"이라며 "단적으로 말하면 기술력은 뛰어났지만 평가에 내재된 다른 배점에서 사용성과 활용성이 다른 기업에 비해 낮은 평가를 받았다"고 설명했다.

이번 2차 단계평가는 △벤치마크 평가(40점) △전문가 평가(35점) △사용자 평가(25점)를 병행하는 입체적 평가로 진행됐다.

전체 100점 가운데 벤치마크 평가가 40점, 전문가 평가가 35점, 사용자 평가가 25점으로 구성됐다. 벤치마크 평가에서도 모티프가 높은 점수를 받은 AAII를 활용한 글로벌 벤치마크의 배점은 25점이다.

전문가 평가에서는 독자 기술과 성능뿐 아니라 개발 모델의 사용성과 실용성, 다양한 산업·서비스 적용 가능성, AI 생태계 파급효과 등을 종합적으로 살폈다. 사용자 평가에는 AI 전문 사용자 49명과 일반 국민 185명이 직접 참여해 모델의 사용성과 효능감을 평가했다.

전문가위원회는 특히 모티프가 아키텍처부터 토크나이저, 옵티마이저, 커널까지 자체 개발해 외부 종속을 제거하고 독자 기술 스택을 구축한 점은 높게 평가했다. 아키텍처 개선과 학습 효율화 기법을 모티프 3에 적용해 글로벌 평가에서 성과를 거뒀으며 개발 과정에서 축적된 기술적 한계와 시행착오 데이터 역시 국가적 자산으로서 가치가 있다고 봤다.

실제 모티프가 개발한 '모티프 3'는 글로벌 AI 모델 평가 플랫폼 아티피셜 애널리시스(Artificial Analysis)의 종합 평가지수인 AAII에서 47점을 기록했다. 전 세계 AI 기업별 최고 득점 모델을 기준으로 세계 10위에 해당하며 미국과 중국을 제외한 국가에서 개발된 AI 모델 가운데 가장 높은 성능이다.

임정환 모티프테크놀로지스 대표는 평가 결과에 대해 "다른 모델보다 부족해서 떨어졌다고 생각하지는 않는다"며 "평가 결과는 어쩔 수 없는 부분이다. 아쉽지만 앞으로도 열심히 AI 산업에서 해야 할 일을 해나가겠다"고 밝혔다.

minju@news1.kr