인공지능안전연구소, 독자AI 안전·신뢰성 평가용 데이터셋 구축

(서울=뉴스1) 윤주영 기자 = 인공지능안전연구소가 정부가 추진하는 독자 인공지능(AI) 파운데이션 모델 프로젝트의 안전성·신뢰성 평가를 위한 데이터 세트를 구축한다.

한국지능정보사회진흥원(NIA)은 과학기술정보통신부와 이런 내용으로 'LLM 안전성 및 신뢰성 평가 데이터 세트 구축' 사업 착수보고회를 이달 7일 서울 중구 NIA 서울사무소에서 가졌다고 8일 밝혔다.

안전연구소가 만들 데이터 세트는 정부가 추진하는 독자 AI 파운데이션 모델의 안전성·신뢰성 성능을 평가하는 기반이 된다. 특히 AI 모델의 위험 요소를 두고 체계적이고 정량적인 검증 체계를 구현하는 데 초점을 맞춘다.

이 과제를 통해 △사이버 보안 △AI 자율성 △사실 기반 정확성 △사회적 가치 편향 등 AI 안전성과 신뢰성 핵심 항목을 아우르는 총 2만 건 이상의 한국어 특화 벤치마크 데이터 세트가 구축될 예정이다. 이를 글로벌 기준에 부합하는 AI 모델 평가 체계로 발전시킬 거라고 NIA는 강조했다.

이날 착수보고회서도 NIA는 주무 부처인 과기정통부, 인공지능안전연구소 관계자 등과 함께 데이터 구축 방향, 평가 체계 설계, 글로벌 연계 전략 등을 다뤘다.

김명주 인공지능안전연구소장은 "단순 성능 비교를 넘어, AI가 우리 사회에서 신뢰받으며 활용될 수 있는 기준을 세우는 첫 시도"라며 "연구소는 공정하고 객관적인 평가체계를 만들어가며, 국내외 AI 신뢰성 생태계를 선도해 나가겠다"고 말했다.

한편 NIA와 과기정통부는 독자 AI 평가의 또 다른 축인 성능 평가용 데이터 세트 구축 기관(컨소시엄)도 공모했으며, 이는 이달 7일 마감됐다. 컨소는 초거대 AI·자연어처리·멀티모달 AI 등 대규모 데이터 세트 기반 AI 개발 역량을 갖춘 기업·기관을 1곳 이상 포함해야 한다.

legomaster@news1.kr