국가대표 AI 레이스 막 오른다…평가 기준은

(서울=뉴스1) 김민수 기자 = 독자 AI 파운데이션 모델 사업 1차 평가가 다음 주부터 본격 진행된다. 과학기술정보통신부는 벤치마크 기반 정량 평가 외에 전문가 평가와 활용처 평가 등을 병행하겠다는 방침이다.

2일 업계에 따르면 과기정통부는 네이버클라우드·업스테이지·SK텔레콤·NC AI·LG AI연구원이 이끄는 유망 5개 컨소시엄을 대상으로 이달 5일부터 1차 평가를 시작한다. 이번 평가로 1곳이 탈락하게 된다.

1차 평가는 13종 글로벌 벤치마크를 공통 지표로 활용한다. 각 컨소시엄은 공모 당시 목표 모델을 제출했고, 정량 평가는 목표 모델 대비 성능 달성 수준을 기준으로 이뤄진다.

정량 벤치마크 결과는 비교적 빠르게 산출되지만, 전문가 및 활용처 평가에는 시간이 더 소요될 것으로 보인다. 특히 활용처 평가는 스타트업 등 실제 산업 현장 관계자들이 평가자로 참여해, 모델의 실사용 가능성과 적용성을 살펴보는 방식으로 진행될 예정이다. 평가단의 구성은 공정성 확보를 위해 비공개로 운영된다.

업계에 따르면 이번 과제는 각 컨소시엄이 목표 모델의 크기·구조·방향을 스스로 제시하는 방식으로 진행돼 조건이 서로 다르다. 이 때문에 평가 기준 정리가 늦어진 것으로 전해졌다. 한 업계 관계자는 "독창성 등 정성평가 항목도 제시돼 있으나, 구체적인 기준과 반영 비율은 정부 공식 자료가 나오기 전까지 알기 어렵다"고 설명했다.

과제 기획 단계에서는 대국민 평가도 포함돼 있었으나, 전문성 문제 등을 이유로 제외됐다.

일단은 글로벌 벤치마크·전문가 평가·활용처 평가 등으로 방식이 정리됐다. 다만 세부적인 평가 기준은 베일에 가려져 있다. 과기정통부는 그간 팀들과 여러 차례 평가 기준과 절차 관련 논의를 이어온 것으로 알려졌다.

현재 5개 컨소시엄은 언어모델 중심, 멀티모달, 산업 특화모델 등 서로 다른 방향으로 모델을 개발하고 있다. 네이버클라우드는 텍스트·이미지·코드 등을 통합 처리하는 '하이퍼클로바X 옴니(OMNI)'를, NC AI는 제조·국방·컬처 등 산업 전환을 겨냥한 멀티모달 모델 'VAETKI'를 각각 공개했다.

업스테이지는 공공·산업 현장 활용을 목표로 한 오픈소스 기반 '솔라 오픈(Solar Open)'을, SK텔레콤은 5000억 개 이상 파라미터를 갖춘 초대형 모델 'A.X K1'을 내놨다. LG AI연구원은 글로벌 최신 모델을 경쟁 상대로 'K-엑사원(K-EXAONE)'을 제시했다.

모든 팀에게는 글로벌 주요 파운데이션 모델의 성능 95% 이상을 우리 기술로 구현해야 하는 과제가 주어진 상태다. 학습 가중치가 공개된 기존 모델을 개량해선 안 되고, 밑바닥부터 설계(프롬스크래치)해야 한다.

모델 제출 마감은 이달 4일까지며, 전문가 평가가 5일부터 진행된다. 정부는 이달 15일 평가를 마무리하고 19일에 결과를 발표할 예정이다.

kxmxs4104@news1.kr