KAIST, 국내 유일 마이크로소프트 AI 안전성 연구 프로그램에 선정

(대전=뉴스1) 김종서 기자 = 한국과학기술원(KAIST)은 전산학부 손수엘 교수가 국내에서는 유일하게 마이크로소프트(MS) AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 '외부 레드팀 연합(EXTRA)' 연구지원 대상자로 선정됐다고 28일 밝혔다.

EXTRA는 MS 레드팀이 올해 새롭게 출범한 글로벌 연구지원 프로그램이다. AI 시스템의 안전성과 보안 취약점을 다양한 관점에서 검증하고 독립적인 AI 안전성 연구 생태계를 확대하기 위해 마련됐다.

이번 선정에 따라 KAIST는 MS로부터 AI 안전성, 보안, AI 정렬 및 책임 있는 AI 개발 연구를 위한 2만5000달러, 한화 약 3700만원 규모의 연구지원금을 받는다. 연구과제 수행 기간을 별도로 정하지 않는 '기프트 어워드' 형태로 제공된다.

지원을 바탕으로 손 교수팀은 대규모 언어모델이 안전하게 작동하도록 막아주는 장치를 만들고 이를 더 적은 컴퓨팅 자원으로 효율적으로 구현하는 '컴퓨팅 자원 절약을 위한 언어모델 가드레일' 연구를 진행하게 된다.

EXTRA에는 KAIST를 비롯해 전 세계 6개 대륙 10여개가 넘는 대학이 참여한다. 국내에서는 KAIST가 유일하다. MS는 이번 프로그램을 통해 독립적인 AI 안전성 연구 생태계를 확대하고 학계와 산업계 간 협력을 강화해 나갈 계획이다.

손 교수 연구팀은 생성형 AI와 대규모 언어모델(LLM) 기반 AI 시스템의 보안과 개인정보 보호 기술을 연구하고 있다. 특히 심층신경망과 언어모델을 대상으로 한 다양한 적대적 공격 기법을 분석해 AI 시스템의 취약점을 평가하고 이를 방어하는 기술을 개발하고 있다.

실제 서비스 환경에서 운영되는 AI 에이전트가 안전하고 신뢰성 있게 동작할 수 있도록 하는 시스템 수준의 방어 기술도 연구하고 있다.

손 교수는 "EXTRA 참여를 계기로 실제 AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다"고 말했다.

레드팀을 이끄는 램 샹카르 시바 쿠마르는 "AI 안전성 연구는 그 어느 때보다 중요해졌으며 대학은 이 분야를 발전시키는 데 핵심적인 역할을 하고 있다"며 "EXTRA를 통해 점점 더 강력해지는 AI 시스템을 어떻게 평가하고 보호하며 책임감 있게 관리할 수 있는지에 대한 이해를 높이는 연구자들을 지원하고자 한다"고 전했다.

jongseo12@news1.kr