KAIST, 레드팀 한계 넘은 생성형 AI 안전성 검증 프레임워크 개발

(대전=뉴스1) 김종서 기자 = 튼튼한 성을 만들려면 먼저 약한 곳을 찾아야 한다. 생성형 인공지능(AI)도 마찬가지다. KAIST 연구진이 AI의 숨은 취약점을 기존보다 약 7배 더 다양하게 찾아내는 안전성 검증 기술을 개발했다. 더욱 안전하고 신뢰할 수 있는 AI 개발의 기반이 될 것으로 기대된다.

한국과학기술원(KAIST)은 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 '스테이블-지플로우넷'을 개발했다고 30일 밝혔다.

생성형 AI의 레드팀은 프로그램 배포 전 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 숨은 약점을 찾아내는 과정이다. 다양한 공격 방법을 찾아낼수록 더 많은 취약점을 사전에 제거할 수 있어 공격 성공률과 공격 다양성이 모두 중요하다.

기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 주로 사용됐다. 하지만 가장 성공률이 높은 한두 가지 공격 방법만 반복적으로 생성하는 모드 붕괴가 자주 발생해 여러 유형의 취약점을 충분히 찾지 못하는 한계가 있었다.

이를 해결하기 위해 생성 흐름 네트워크 '지플로우넷'이 제안됐지만, 학습 과정에서 계산이 복잡하고 불안정하며 의미 없는 문장에도 높은 보상이 주어져 성능이 쉽게 무너지는 문제가 있었다.

연구팀은 문제를 해결하기 위해 좋은 공격은 더 잘 배우고, 잘못된 공격은 걸러내는 세 가지 핵심 기술을 개발해 도입했다.

적용 기술은 대조 궤적 균형(CTB) 기법, 노이즈 경사 가지치기(NGP), 유창성 안정화 장치(MKS) 등이다. 이 기술들을 집약한 스테이블-지플로우넷은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다.

특히 스테이블-지플로우넷으로 학습한 방어 모델은 서로 다른 공격 기법을 이용해 평가하는 교차 공격 시험에서도 다양한 공격을 효과적으로 방어하며 우수한 일반화 성능을 입증했다.

이번 기술은 AI 안전성 검증뿐 아니라 신약 후보 물질을 생성하는 분자 생성 등 다양한 분포 매칭 문제에서도 기존보다 빠르고 안정적인 성능을 보여 범용적으로 활용될 가능성도 확인했다.

연구팀은 이번 연구가 지플로우넷의 고질적 한계였던 학습 불안정성과 모드 붕괴를 해결해 AI의 다양한 취약점을 안정적으로 발굴할 수 있는 길을 열었다고 평가했다. 향후 LMM을 훈련하는 새로운 방식의 포스트 트레이닝에 도움이 될 것으로 기대된다.

김 교수는 "생성형 AI를 실제 서비스에 적용하기 전 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것으로 기대한다"고 말했다.

KAIST 전기및전자공학부 권민찬 박사과정이 제1저자로 참여한 이번 연구 성과는 인공지능 분야 국제학회 '국제머신러닝학회(ICML) 2026'에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.

연구는 과학기술정보통신부 정보통신기획평가원 SW스타랩 사업의 지원을 받아 수행됐다.

jongseo12@news1.kr