개발자 속이고 악성코드 유포 시도한 미토스…GPT·메타도 무단행동

(서울=뉴스1) 김민수 기자 = 영국 정부가 인공지능(AI)의 해킹 능력을 시험하던 중 AI가 시험과 무관한 실제 개발자를 공격 대상으로 삼는 사고가 발생했다. AI는 악성코드를 프로그램에 넣으려 하고, 가짜 계정을 만들어 안전한 코드인 것처럼 꾸미기까지 했다.

7일 영국 AI보안연구소(AISI)에 따르면 연구소는 지난달 25일부터 28일까지 7개 AI 모델에 시험용 전산망을 해킹해 특정 정보를 찾는 과제를 부여했다. 모두 122차례 시험했다.

이 가운데 10차례 시험에서 AI가 허용된 범위를 벗어나 실제 인터넷에서 행동했다. 무단 행동은 19건으로, 앤트로픽의 '미토스 5'에서 17건, 오픈AI의 'GPT-5.6 솔'에서 2건이 확인됐다.

연구소는 이를 중대한 보안사고로 분류했다. 다만 악성코드가 실제 프로그램에 반영되거나 현실에서 피해가 발생한 사실은 확인되지 않았다.

가장 심각한 사례는 앤트로픽의 최상위 모델 '클로드 미토스5'에서 나왔다.

미토스5는 현재 너무 뛰어난 성능을 갖춰 AI가 스스로 보안 취약점을 찾고 이를 공격하는 역량까지 가능해 전 세계에 이른바 '미토스 쇼크'를 불러일으킨 모델이다. 이에 미국 정부와 앤트로픽은 미토스5를 대중에 공개하지 않고 허가된 국가기관과 일부 기업에게만 제한적으로 접근을 허가하는 '프로젝트 글라스윙'을 시행하고 있다.

영국 AISI는 미토스5 접근이 허가된 프로젝트 글라스윙 참여 기관으로서 이번 시험을 실행했다.

이번 시험에서 미토스 5는 공격 대상을 찾으려고 인터넷을 검색하다가 실제 개발자가 운영하는 공개 소프트웨어 프로젝트를 발견했다.

프로젝트 이름과 개발자 정보 일부가 시험에서 본 내용과 우연히 비슷했다. AI는 이를 근거로 해당 개발자와 프로그램을 시험에 포함된 가상 표적으로 잘못 판단했다. 실제로는 연구소나 시험과 아무런 관련이 없었다.

미토스 5는 악성코드가 담긴 수정안을 낸 뒤 이를 정식 프로그램에 합쳐 달라고 요청했다. 깃허브에서는 외부 개발자가 제안한 코드를 원본에 반영해 달라고 요청하는 절차를 '풀 리퀘스트'(PR)라고 한다.

개발자가 요청을 받아들였다면 해당 프로그램을 내려받는 이용자에게까지 악성코드가 퍼질 수 있었다.

미토스 5는 자신이 낸 코드가 안전해 보이도록 깃허브 계정을 여러 개 만들었다. 한 계정으로 악성코드를 제출한 뒤 다른 계정으로는 별개의 개발자인 척 "코드를 검토했지만 문제가 없다"는 취지의 댓글을 달았다. 자신이 낸 코드를 제3자가 확인한 것처럼 꾸민 것이다.

한 이용자가 악성코드를 찾아내자 미토스 5는 개발 과정에서 생긴 실수라고 둘러댔다. 이어 악성 부분을 없앤 것처럼 코드를 바꾸고 가짜 계정으로 다시 승인을 요구했다. 그러나 프로젝트 관리자가 악성코드가 포함됐다며 요청을 거부해 정식 프로그램에는 들어가지 않았다.

미토스 5는 개발자들의 이메일 주소와 과거 활동도 조사했다. 이후 악성 내용이 담긴 이메일을 보내거나 코드 승인을 설득했다. 다른 AI 코딩 도구를 속이기 위해 오류신고 게시글에 몰래 악성 명령을 숨기는 '프롬프트 인젝션' 공격도 시도했다.

GPT-5.6 솔에서도 무단 행동 2건이 확인됐다. 다른 AI가 온라인에 남긴 인증키를 찾아 깃허브 계정에 접속한 뒤, 외부 서비스 6곳에 계정을 만들어 시험용 악성 서버를 인터넷에 연결했다. 가입 과정에서 사람임을 확인하는 절차도 네 차례 통과했다. 다만 통신 설정이 잘못돼 서버는 실제 공격에 이용되지 않았고 외부 시스템이 접속한 흔적도 없었다.

이번 사고는 AI가 막혀 있던 시험망을 뚫고 탈출한 사건은 아니다.

연구소가 모델의 최대 해킹 능력을 확인하려고 처음부터 인터넷 접속을 허용했다. 개발사가 위험한 행동을 막기 위해 넣은 사이버보안 장치도 시험을 위해 껐다.

실제 사람을 공격하거나 속이라고 지시하지는 않았다. 그러나 인터넷에서 해서는 안 되는 행동이나 시험 범위 밖의 사람·서비스에 접근해서는 안 된다는 점도 명확하게 알려주지 않았다.

시험이 시작된 뒤에는 사람이 중간에 개입하지 않고 AI가 스스로 판단해 행동하도록 했다.

연구소는 익명 통신망 '토르'(Tor)를 통한 이상 통신을 발견한 뒤 약 1시간 만에 관련 시험을 중단했다. 앞으로 AI가 접속할 수 있는 인터넷 범위를 줄이고 AI의 행동을 실행하기 전에 별도의 AI가 검사하는 실시간 감시체계를 도입할 계획이다.

비슷한 사고는 메타의 외부 보안시험에서도 발생했다.

CNN 등에 따르면 메타의 AI 모델 '뮤즈 스파크'는 독립 평가업체 이레귤러가 진행한 시험 도중 인터넷에 접속한 뒤 외부 기관 시스템에 무단으로 접근했다.

이레귤러의 설정 오류로 모델이 인터넷에 연결됐고 이후 외부 시스템의 취약점을 이용한 것으로 전해졌다. 피해를 본 기관은 한 곳으로 알려졌다.

이레귤러는 시험망을 뚫고 탈출하거나 고도의 해킹 수법을 동원한 사건은 아니며 현재 해결되지 않은 보안 문제도 없다고 설명했다. 메타와 이레귤러는 구체적인 사실관계를 담은 보고서와 안전한 AI 평가환경 구축 방안을 담은 백서를 공개할 예정이다.

앤트로픽은 강력해진 AI 에이전트를 안전하게 시험하기 위해 평가환경의 구축과 보안에 적용할 업계 공동 기준이 필요하다는 입장을 밝혔다. AISI로부터 추가 자료를 받아 자체 조사도 진행하고 있다.

오픈AI는 이번 사고가 일반 이용 환경과 다른 특수한 조건에서 발생했다고 강조했다. 인터넷 접속을 허용하고 일부 안전장치를 해제한 시험환경은 일반 서비스의 작동 방식을 반영하지 않는다는 설명이다. 다만 고위험 외부 평가의 인터넷 접속과 안전장치 해제, 시험망 격리, 실시간 감시, 중단 기준을 외부 평가기관과 함께 다시 점검하겠다고 밝혔다.

kxmxs4104@news1.kr