셀렉트스타, AI 안전성 맞춤형으로 점검…글로벌 학회서 논문 채택

(서울=뉴스1) 나연준 기자 = 인공지능(AI) 데이터·신뢰성 평가 전문기업 셀렉트스타가 자체 개발한 AI 안전성 검증 기술로 세계 최고 권위의 학회에서 기술력을 인정받았다.

셀렉트스타는 19일 AI 세이프티(Safety)팀의 연구 논문 '문화 맞춤형 레드티밍 벤치마크 생성 프레임워크'(CAGE: A Framework for Culturally Adaptive Red-Teaming Benchmark Generation)'가 오는 4월 브라질에서 열리는 'ICLR(표현 학습 국제 학회) 2026' 메인 콘퍼런스에 채택됐다고 밝혔다. 논문은 오는 3월 오픈소스 플랫폼 아카이브(Arxiv)를 통해 공개될 예정이다.

ICLR은 AI 분야에서 가장 영향력 있는 국제 학회 중 하나로, 구글 스칼라 기준 AI 및 머신러닝 분야 최상위권 학회로 꼽힌다. 올해는 1만 9000여 건의 논문 중 상위 약 28%만이 채택됐다.

이번 논문의 핵심 기술은 각 나라의 문화와 법적 맥락을 반영해 AI의 안전성을 검증하는 레드티밍(Red-Teaming) 데이터를 자동으로 생성하는 프레임워크다. AI가 위험한 질문을 받았을 때 안전하게 대응하는지 점검하는 시험문제를 언어·문화권별 자동 생성하는 기술이다.

기존의 AI 안전성 검증은 주로 영미권에서 개발된 데이터셋을 단순 직역 및 의역해 사용하는 방식이었다. 이 경우 각 나라에서 실제로 나올 법한 위험 상황을 충분히 반영하지 못해 AI의 약점을 놓칠 수 있다.

셀렉트스타 연구팀은 이를 해결하기 위해 '시맨틱 몰드'(Semantic Mold)라는 개념을 제안, 국가의 문화적 특성을 반영한 현지화된 공격 질문을 생성했다. 그 결과 생성된 공격 시나리오는 사람이 직접 만든 것과 유사한 수준의 자연스러움을 보였으며, AI 모델의 방어율을 뚫고 잠재된 위험을 찾아내는 '공격 성공률' 측면에서도 성과를 보였다.

논문에는 CAGE을 한국 상황에 적용해 만든 한국형 안전성 벤치마크 'KoRSET'(코르셋)을 함께 공개됐다. 코르셋은 기존의 단순 번역으로 만들어진 데이터셋보다 AI 모델의 취약점을 훨씬 더 효과적으로 찾아내며, 한국 문화 기반 안정성 검증에 최적화된 성능을 입증했다.

CAGE 기술은 단순한 학술적 성과를 넘어 이미 산업 현장에 적용되고 있다. 현재 셀렉트스타가 협업하고 있는 대기업 AI 프로젝트에 해당 기술이 적용되어 모델의 취약점 점검 및 운영 효율 개선에 기여하고 있다.

논문의 교신저자인 김민우 셀렉트스타 AI 세이프티 팀장은 "이번 ICLR 채택은 셀렉트스타가 단순 데이터 구축 기업을 넘어, 독보적인 원천 기술을 보유한 AI 기술 기업임을 입증한 사례"라고 말했다.

공동저자인 임용택 연구원은 "현장에서 바로 활용 가능한 품질의 안전 평가 기술로 글로벌 기준을 만드는 데 기여할 것"이라고 포부를 밝혔다.

한편 셀렉트스타는 이번 연구 성과를 바탕으로 금융, 공공 등 고도의 안전성이 요구되는 다양한 산업군으로 신뢰성 평가 설루션을 확장할 계획이다.

yjra@news1.kr