(서울=뉴스1) 유수연 기자 = 카카오(035720)는 오픈소스로 공개한 경량 언어모델(SLM) 카나나(Kanana)-2 시리즈의 안전성이 글로벌 모델을 상회하는 평가 결과를 기록했다고 18일 밝혔다.
카카오는 자체 구축한 'AI 안전성 평가 플랫폼'을 통해 지난달 28일 허깅페이스 오픈소스로 공개한 'Kanana-2-1.3B-Instruct', 'Kanana-2-3B-Instruct' 두 모델의 유해성, 편향성을 측정했다.
구글의 '젬마'(Gemma), 알리바바의 '큐웬'(Qwen)을 비교 대상으로 설정해 평가한 결과 카나나-2 시리즈가 전 구간에서 두 모델을 상회했다.
Kanana-2-1.3B-Instruct는 종합 점수 0.7을 기록해 젬마(0.68)와 큐웬(0.58)을 앞섰다. Kanana-2-3B-Instruct도 0.7을 기록해 젬마(0.66), 큐웬(0.62)보다 높은 점수를 차지했다.
대분류별 평가에서 카나나 1.3B 모델은 범죄·불법 행위 영역에서 우위를 보였다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 앞섰다.
이번 평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), 카이스트(KAIST), 카카오가 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다.
한국의 사회·문화적 맥락에 맞게 설계된 AssurAI는 텍스트, 이미지, 오디오 등 멀티모달과 AI 서비스 이용 상황, 악의적 프롬프트 시나리오 등 다양한 조건에서 AI의 위험 요소를 측정할 수 있다.
카카오는 향후 공개되는 자체 개발 AI 모델에 상시적인 사전 안전성 평가를 확대 적용할 방침이다.
김경훈 카카오 AI 세이프티 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.
shushu@news1.kr
