"해커처럼 먼저 공격하는 '레드팀' 등장"…KISA, AI공격 대응

(서울=뉴스1) 김민수 기자 = 생성형 인공지능(AI)이 기업 업무와 공공서비스 전반으로 빠르게 확산되면서 보안 점검의 무게중심도 달라지고 있다. 웹·앱·서버의 취약점을 찾는 기존 모의해킹만으로는 AI 모델의 응답과 악용 가능성까지 검증하기 어렵기 때문이다.

이에 AI 서비스를 실제 공격자 관점에서 미리 시험하는 'AI 보안 레드팀' 필요성이 커지고 있다. 서비스 출시 뒤 사고를 수습하는 방식만으로는 AI 특유의 위험을 따라가기 어렵다는 판단에서다.

레드팀은 원래 군사·보안 분야에서 방어체계를 시험하기 위해 공격자 역할을 맡는 팀을 뜻한다. 정보보호 분야에서는 모의해킹이나 침투 테스트처럼 실제 공격 시나리오를 가정해 시스템의 취약점을 찾는 방식으로 쓰여 왔다.

AI 보안 레드팀은 이 방식을 AI 서비스와 모델에 적용한 개념이다. 기존 모의해킹이 주로 시스템과 서비스의 기술적 취약점을 점검했다면, AI 보안 레드팀은 프롬프트 인젝션, 탈옥, 데이터 유출 등 AI 특유의 공격 기법까지 포함해 평가한다는 점이 다르다.

한국인터넷진흥원(KISA)이 민간 AI 서비스를 대상으로 레드팀 사업을 추진하는 배경이다.

4일 업계에 따르면 KISA는 올해 'AI 레드팀 모의해킹 수행 및 취약점 발굴 지원사업'을 추진하고 있으며 오는 30일까지 희망 기업을 모집한다. 지원 규모는 20개 사업자다.

지원 대상은 AI 모델·서비스 관련 중견·중소기업과 비영리법인이다. 고영향 인공지능 여부, 국내 이용자 현황, 독자 파운데이션 모델 개발 여부 등을 고려해 선정한다. 지원 비용은 무료다.

점검은 접수 및 적격심사, 일정 협의, AI 레드팀 모의해킹, 조치 지원, 이행점검 순으로 이뤄진다. 외부자 시나리오는 원격점검 1주, 내부자 시나리오는 현장점검 1주 방식으로 진행된다.

KISA 관계자는 "AI 보안 레드팀은 단순한 시스템 취약점 점검이 아니라 프롬프트 조작, 탈옥 공격, 민감정보 노출, 악성 지시 수행 여부 등 AI 서비스에서 발생할 수 있는 위험을 실제 공격자 관점에서 검증하는 것"이라고 설명했다.

프롬프트 인젝션은 AI에 입력하는 명령문을 조작해 의도하지 않은 답변이나 동작을 유도하는 공격 방식이다. 탈옥은 AI 모델에 적용된 안전장치나 제한을 우회해 금지된 응답을 끌어내는 시도를 뜻한다.

KISA는 이와 별도로 'AI 보안 레드팀 로드맵 및 중장기 전략 연구' 용역을 발주해 중장기 추진 방향과 전략 수립에도 나섰다. KISA 관계자는 "KISA의 AI 보안 레드팀 사업은 2026년부터 운영되고 있으며, 급변하는 AI 기술 및 위협 환경에 대응하기 위한 중장기 추진 방향과 전략을 수립하고자 본 연구를 발주했다"고 배경을 설명했다.

KISA 입찰공고와 제안요청서에 따르면 'AI 보안 레드팀 로드맵 및 중장기 전략 연구' 사업 예산은 5000만 원이다. 사업 기간은 계약 체결일부터 오는 10월 30일까지다. 입찰 등록 마감은 이달 10일까지이며 제안서 평가는 18일 나주청사에서 대면 방식으로 진행된다.

이번 중장기 전략 연구는 민간 분야 AI 보안 레드팀 사업의 운영체계를 마련하고, 단계적 도입·확산 방향을 도출하는 데 목적이 있다.

KISA는 연구 과업에서 국내외 AI 보안 유사 사업 현황과 글로벌 기업의 AI 레드팀 운영 사례를 조사하도록 했다. 미국, 영국, 싱가포르, 일본 등 주요국 사례와 민간에 공개된 기술·데이터셋·가이드·지침 현황도 조사 대상이다.

로드맵은 단기 1년 이내, 중기 1~3년, 장기 4년 이상으로 나눠 마련된다. 사업 아이템별 방향과 목적, 세부 과업을 도출하는 방식이다.

KISA는 AI 보안 분야 산학연 전문가 50명 설문과 주요 전문가 3명 이상 심층 인터뷰도 진행하도록 했다. 레드팀 사업 성과를 측정할 정성·정량 지표를 만들고, 점검 결과가 기업의 보완 조치와 후속 사업 개선으로 이어지도록 성과관리 체계도 마련한다는 계획이다.

KISA는 이번 연구 결과를 AI 보안 레드팀 사업의 중장기 추진 전략으로 활용해 민간의 AI 보안성 제고에 기여한다는 계획이다.

kxmxs4104@news1.kr