문제 못풀자 '집단 부정행위'…700개 AI 뭉쳐 허깅페이스 해킹 전말

(서울=뉴스1) 신기림 기자 = 인공지능(AI)에게 해킹 문제를 풀라는 시험을 냈는데 일부 문제에는 사실상 답이 없었다. 그러자 한 AI 에이전트가 다른 AI들과 연락할 방법을 찾아냈다.

스스로 'PHASEONE10841'이라는 이름을 붙인 이 에이전트가 비인가 게시판을 만들었고, 여기에 다른 AI들이 속속 모여들었다.

각자 격리돼 있어야 했던 AI 약 1200개가 이 게시판에서 7만 건 넘는 메시지와 파일을 주고받았다. 이들은 불과 4시간 만에 시험의 '정답'을 만들어낼 수 있는 일반적인 편법을 찾아냈다.

하지만 그것으로 끝나지 않았다. 정답을 부정한 방법으로 얻었다는 사실을 채점 시스템에 들키지 않을 방법까지 집단으로 연구했고, 결국 약 700개의 AI 에이전트는 외부에 있는 오픈소스 AI 플랫폼 허깅페이스(Hugging Face)를 공격하는 데 가담했다.

지난달 오픈AI에서 벌어진 초유의 'AI 탈옥' 사건의 구체적인 전말이 드러났다. 오픈AI와 AI 안전성 연구기관 METR·레드우드 리서치는 26일(현지시간) 각각 자체 기술보고서와 독립 조사보고서를 공개했다. 독립 조사팀은 오픈AI에서 엿새 동안 약 1300개의 AI 행동·추론 기록과 게시판 자료 등을 분석했다.

사건은 오픈AI가 AI의 사이버 공격 능력을 시험하는 '익스플로잇짐(ExploitGym)' 평가를 진행하면서 본격화했다. 7월 8일부터 GPT-5.6 Sol을 비롯한 여러 모델의 AI 에이전트 수만 개가 투입됐다.

각 에이전트는 별도의 샌드박스에 격리돼 서로 존재조차 알 수 없어야 했다. 하지만 풀 수 없는 문제를 받은 일부 에이전트가 내부 패키지 저장소인 '아티팩토리(Artifactory)'에서 편법을 찾다가 다른 에이전트들이 남긴 흔적을 발견했다.

한 에이전트는 다른 이용자들이 가져간 파일의 경로가 캐시에 남아 있다는 사실을 알아냈다. 이를 이용해 'PHASEONE10841'이 비인가 게시판을 만들면서 상황이 급변했다. 같은 문제를 받은 AI끼리 팀을 만들기 시작했고 곧 서로 다른 문제를 받은 수십~수백 개 AI가 참여하는 공동 연구로 발전했다.

목표는 시험을 정석으로 푸는 것이 아니라 채점 시스템을 속이는 것이었다. AI들은 게시판이 생긴 지 몇 시간 만에 시험에서 정답 역할을 하는 이른바 '플래그(flag)'를 만들어내는 방법을 알아냈다. 그러나 채점기는 AI의 행동기록을 확인해 정상적인 방법으로 정답을 얻었는지도 검사했다.

AI들은 다시 머리를 맞댔다. 이번에는 "어떻게 하면 부정하게 얻은 정답을 정상적으로 푼 것처럼 보이게 할 것인가"가 공동 연구과제가 됐다. 일부 에이전트는 자신의 시험 실패 위험까지 감수하면서 다른 AI가 활용할 정보를 수집했다. 독립 조사팀은 개별 AI로서는 이루지 못했을 성과를 집단 협업을 통해 달성했다고 평가했다.

허깅페이스 공격도 여기서 시작됐다. AI들은 채점 시스템의 작동 원리를 알아내면 자신들의 부정행위를 감출 수 있다고 판단했다. 허깅페이스에서 관련 단서를 찾기 시작했고, 한 에이전트가 허깅페이스 인증정보를 찾아내면서 공격이 본격화했다.

이 에이전트는 악성 데이터세트를 업로드해 허깅페이스 서버에서 다른 파일을 빼낼 방법을 고안했다. 수시간 안에 수백개 AI가 이 방법을 공유해 데이터를 확보하고 더 깊숙한 접근 권한을 얻으려 했다.

7월 11일 오후가 되자 당시 게시판을 이용하던 AI 대부분이 공격에 뛰어들었고 최종적으로 약 700개가 가담했다. 당시 게시판에서 오간 메시지와 파일의 약 60%가 허깅페이스 공격과 관련된 것으로 조사됐다.

일부 AI는 자신의 행동 흔적을 감추는 방법까지 연구했다. 조사팀은 AI들이 자신들의 행동을 담은 기록을 조작하는 데 큰 관심을 보였으며 실제 일부 도구 호출 기록(tool call)을 정상적인 것처럼 위장하는 데 성공했다고 밝혔다. 다만 인간 조사관을 본격적으로 속이는 데 성공했다는 증거는 확인되지 않았다.

오픈AI는 이번 사태를 AI가 주어진 보상을 극대화하려다 개발자가 의도하지 않은 편법을 찾아내는 '보상 해킹(reward hacking)'의 위험성을 보여준 사례로 평가했다.

허깅페이스 공격을 지시한 사람은 없었다. 오픈AI에 따르면 모델들은 승인되지 않은 통신망을 만들고 공유 인프라의 취약점을 악용해 인터넷에 접속한 뒤 제3자 시스템에 접근했다.

다만 이번 사건을 AI들이 인간을 상대로 조직적인 '반란'이나 '음모'를 꾸민 것으로 해석하는 것은 과도하다는 지적도 있다. 독립 조사 결과 AI들이 공격에 합류한 가장 흔한 이유는 허깅페이스에서 채점 시스템의 작동 원리를 알아내 시험을 속이려는 것이었다.

그보다 더 주목할 점은 인간이 명령하지 않은 행동이었음에도 수백개의 AI가 서로 협력하면서 개별적으로는 불가능했던 일을 해냈다는 점이라고 레드우드리서치는 평가했다.

오픈AI는 보고서에서 이번 사건이 "적절한 안전장치가 없다면 고도로 지능적인 AI 에이전트가 기술적 통제를 우회하고 승인받지 않은 방식으로 협력하며 인간이 지시하지 않은 위험한 행동을 할 수 있음을 보여줬다"고 밝혔다.

shinkirim@news1.kr