'국대 AI' LG AI 연구원 압도적 1위…네이버는 충격의 탈락

(서울=뉴스1) 이기범 기자 = 국가대표 인공지능(AI)을 선발하는 첫 정부 평가에서 LG AI 연구원이 1등 기업으로 꼽혔다. AI 모델 성능을 측정하는 벤치마크를 비롯해 전문가 및 사용자 평가에서 LG AI 연구원은 모두 최고점을 받았다. SK텔레콤은 수학·지식·장문이해 등에서 높은 점수를 받았으며, 업스테이지는 글로벌 벤치마크 평가에서 우수한 평가를 받았다.

과학기술정보통신부, 정보통신산업진흥원(NIPA), 한국정보통신기술협회(TTA)는 15일 '독자 AI 파운데이션 모델' 프로젝트 1차 평가 결과를 발표했다. 평가 대상은 △네이버클라우드 △업스테이지 △SK텔레콤 △NC AI △LG AI 연구원 등 5개 정예팀이다.

이번 1차 단계 평가는 벤치마크, 전문가, 사용자 평가를 진행해 △AI 모델 성능과 실제 현장에서의 활용 가능성, 모델 크기 등 비용 효율성, 국내외 AI 생태계 파급효과 등을 포함한 △사용성·파급효과 등을 종합 평가했다.

평가 결과 LG AI 연구원은 총 90.2점으로 가장 우수한 평가를 받았다. 5개 정예팀 평균은 79.7점이었다.

세부 평가 내용을 살펴보면 벤치마크 평가는 △NIA 벤치마크 평가(10점) △글로벌 공통 벤치마크 평가(20점) △글로벌 개별 벤치마크 평가(10점) 등으로 진행됐다.

수학, 지식, 장문이해, 신뢰성·안정성 분야 평가로 이뤄진 NIA 벤치마크 평가에서는 SK텔레콤과 LG AI 연구원이 10점 만점 중 9.2점으로 최고점을 받았다.

수학, 지식·추론 등 세계적으로 인정되는 벤치마크 13종을 토대로 진행된 글로벌 공통 벤치마크 평가에서는 LG AI연구원이 20점 만점 중 14.4점으로 가장 높은 점수를 받았다.

정예팀별로 글로벌 타깃 모델과 비교 가능한 벤치마크 5종을 선정해 평가가 진행된 글로벌 개별 벤치마크 평가에서는 업스테이지와 LG AI연구원이 10점 만점을 받았다.

벤치마크 평가를 종합한 결과 LG AI 연구원이 총 33.6점으로 가장 높은 점수를 기록했으며, 평균은 30.4점이었다.

전문가 평가는 총 10명의 산학연 외부 AI 전문가로 구성된 평가위원회를 통해 이뤄졌다. 평가위원회는 5개 정예팀이 공개한 모델별 테크니컬 리포트, AI 모델 훈련 상태 로그 파일 등을 분석해 기술 개발 과정과 기술력을 평가했다.

그 결과 LG AI 연구원이 35점 만점 중 31.6점으로 가장 높은 점수를 받았다. 평균은 28.56점이었다.

사용자 평가는 AI 스타트업 대표 등 49명의 AI 전문 사용자가 참여했다. 실제 현장 활용 가능성, 추론 비용 효율성 등을 분석했다. 사용자 평가 점수는 LG AI 연구원이 25점 만점을 받았다. 평균 점수는 20.76점이었다.

한편 1차 평가에서 탈락팀은 네이버클라우드와 NC AI로 선정됐다. 네이버클라우드의 경우 벤치마크, 전문가 및 사용자 평가에서는 좋은 점수를 받았으나 논란이 됐던 독자성 부문이 탈락 요인이 됐다.

정부는 이번 탈락팀을 포함해 최초 공모에 접수한 컨소시엄, 그 외 역량 있는 기업 모두에게 추가 기회를 제공해 1개 정예팀을 추가 선정할 계획이다.

Ktiger@news1.kr