"위험 정보 거부·지식 학습 지속"…AI 성능·안전성, 두 마리 토끼 잡았다

(대전=뉴스1) 김종서 기자 = 한국과학기술원(KAIST)은 전기및전자공학부 김창익 교수 연구팀이 챗지피티와 같은 대형언어모델(LLM)을 개인이나 기업의 데이터에 맞게 다시 학습시키는 파인튜닝에서 안전성이 훼손되는 문제를 해결하는 '버퍼 앤 리인포스' 학습 프레임워크를 개발했다고 15일 밝혔다.

인공지능(AI)을 맞춤형으로 학습시키면 업무능력이 높아지는 반면 안전 규칙이 약화하는 문제가 AI 개인화 시대의 가장 큰 과제로 꼽힌다.

연구팀은 AI가 원래 거부해야 할 위험한 요청에도 응답할 수 있도록 만든 '탈옥' 상태에서 맞춤형으로 학습시키면 오히려 안전성이 크게 훼손되지 않는다는 기존 연구 결과에 주목했다.

이에 탈옥 상태를 실제 서비스에 사용하는 것이 아니라 완충 모듈인 '버퍼로라'(BufferLoRA)를 활용해 맞춤형 학습 과정에서만 일시적으로 적용한 뒤 제거하는 새로운 접근법을 고안했다.

그 결과 탈옥 상태의 AI는 위험한 정보에는 더 이상 쉽게 영향을 받지 않지만, 사용자가 원하는 새로운 업무 능력은 그대로 효과적으로 학습한다는 사실을 확인했다.

이는 위험한 정보는 추가로 받아들이지 않으면서 필요한 지식은 계속 학습하는 원리를 세계 최초로 규명한 사례라고 연구팀은 설명했다.

이를 바탕으로 연구팀은 '완충'과 '안전성 강화'의 두 단계 학습 기법을 개발했다.

먼저 완충 모듈인 버퍼로라를 AI에 임시로 적용해 맞춤형 학습 과정에서 악성 데이터가 AI 본체에 직접 영향을 주지 못하도록 막아주는 보호막 역할을 하도록 했다. 맞춤형 학습이 끝나면 이 모듈은 제거된다.

이후 안전성 강화 모듈인 '리인포스로라'(ReinforceLoRA)를 적용해 AI의 안전성을 다시 높였다. 이 과정에서 사용자가 학습시킨 새로운 기능은 그대로 유지하면서 안전성만 선택적으로 강화하는 데 성공했다.

실험 결과 사용자 데이터가 모두 위험한 질문과 답변으로 구성된 극단적인 환경에서도 AI는 높은 안전성을 유지했다. 재학습 이후 위험한 답변을 생성하는 비율은 약 8%로, 재학습을 하지 않은 기존 모델의 약 18%보다도 낮은 수준을 기록했다.

또 별도의 안전성 재학습이나 추가적인 계산 비용 증가 없이 맞춤형 성능과 최고 수준의 안전성을 동시에 확보해 실제 AI 개인화 서비스에도 효율적으로 적용할 수 있는 가능성을 제시했다.

김 교수는 "이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술"이라며 "AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 서비스 환경을 구축하는 데 크게 기여할 것으로 기대한다"고 말했다.

연구팀은 향후 텍스트 기반 대형언어모델을 넘어 멀티모달 AI와 에이전트형 AI 시스템에서도 안전한 개인화가 가능하도록 후속 연구를 진행할 계획이다.

KAIST 전기및전자공학부 함석일 박사과정생이 제1저자로 참여한 이번 연구는 AI 분야 국제학술대회 '국제머신러닝학회'(ICML 2026)에서 7월 전체 투고 논문 중 상위 약 2.2%에만 주어지는 스포트라이트 논문으로 채택돼 주목받았다.

연구는 과학기술정보통신부 정보통신기획평가원(IITP)이 지원하는 '공존가능한 신뢰AI를 위한 AI 세이프티 기술개발사업'의 지원을 받아 수행됐다.

jongseo12@news1.kr