정부, '독파모'로 확보한 1.56조 토큰 규모 AI 학습 데이터 공개

(서울=뉴스1) 이기범 기자 = 정부가 국가대표 인공지능(AI)을 선발하는 '독자 AI 파운데이션 모델'(독파모) 프로젝트 과정에서 확보한 대규모 AI 학습 데이터를 개방한다.

과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 독파모 5개 정예팀이 1차 단계 평가 과정에서 확보한 총 29종, 약 3544만 건, 1조 5600억 토큰 규모의 데이터를 AI허브 사이트를 통해 공개한다고 27일 밝혔다.

이번에 개방하는 데이터는 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원 등 정예팀이 각자 개발 전략에 맞춰 기획해 150억 원의 데이터 구축·가공 예산을 통해 확보한 결과물이다. 사전 학습에 필요한 대규모 데이터셋부터 영상·음성 등 멀티모달, 안전성 확보를 위한 레드티밍 데이터 등으로 구성됐다. 700~800억(70~80B) 파라미터 규모의 거대언어모델(LLM) 학습에 사용될 수 있는 규모다.

네이버클라우드는 공개 영상 234만 건과 방송 영상 52만 건, 해당 영상클립 기반의 텍스트 1550만 건과 음성 질의응답 1200만 건을 구축했다.

업스테이지는 1조 토큰 규모의 대규모 사전학습 데이터와 50만 건의 사후 학습 데이터를 확보했다.

SK텔레콤은 수학·과학·법률 등 전문 도메인 영역의 고난도 다단계 추론데이터, 음성·이미지 등 사후학습용 데이터와 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만 건을 마련했다.

NC AI는 제조 분야 기술문서, 민원 상담 음성 등 현장의 실제 데이터를 기반으로 긴 문맥 이해, 단계별 추론, 멀티턴 대화, 질의응답, 멀티 모달리티 등 LLM 핵심 역량 데이터 7종을 구축했다.

LG AI연구원은 한국 가정환경에 최적화된 17만 개 이상의 피지컬AI 멀티모달 데이터셋을 구축했다.

이들 데이터를 합치면 총 3544만 4173건, 11.3TB에 달하는 규모다.

독파모 사업은 데이터 구축·가공 예산을 통해 확보한 데이터 중 50% 이상 개방을 참여 조건으로 걸고 있다.

이번에 공개된 데이터는 누구나 AI허브를 통해 무료로 내려받아 쓸 수 있다. 과기정통부는 향후 2차 단계 평가 과정에서 구축된 데이터도 품질 검증을 거쳐 공개할 예정이다.

Ktiger@news1.kr