앤스로픽 AI도 시험 중 기업 3곳 해킹…"인터넷 설정 오류 때문"

(서울=뉴스1) 장용석 기자 = 미국 인공지능(AI) 기업 앤스로픽이 자사 AI 모델 '클로드'가 사이버 보안 능력 평가 중 인터넷에 접속, 기업 3곳의 운영 시스템에 무단 침입한 사실이 확인됐다고 30일(현지시간) 밝혔다.

앤스로픽은 이날 공개한 조사 보고서에서 "인터넷 접속 가능성이 있었던 사이버 보안 평가 기록 14만 1006건을 조사한 결과, 클로드가 실제 기업 시스템에 접근한 사건이 3건 있었다"며 이같이 전했다.

앤스로픽에 따르면 이들 3건은 지난 4월 이후 실시된 총 6차례의 평가 중 발생했다. 당시 클로드는 가상 전산망에 침투해 기밀정보를 찾아내는 '캡처 더 플래그'(CTF) 평가를 수행했다,

앤스로픽 측은 '인터넷이 연결되지 않은 환경'을 전제로 해당 평가를 수행했지만, 외부 평가업체 이레귤러와의 협의·설정 오류로 일부 시험용 컴퓨터엔 실제 인터넷 접속 경로가 남아 있었다.

이에 클로드는 해당 인터넷 접속 경로 또한 훈련용 시스템이라고 판단, 취약한 비밀번호와 인증되지 않은 접속경로, SQL 주입 등 비교적 기본적인 수법으로 실제 기업 시스템을 공격할 수 있었다는 게 앤스로픽 측 설명이다.

앤스로픽의 조사 결과, 클로드 오퍼스 4.7의 경우 가상 표적과 이름이 같은 실제 기업의 인터넷 도메인을 발견, 애플리케이션·인프라 접속 정보를 빼내고 데이터 수백 건이 저장된 데이터베이스에도 접근했다.

이 과정에서 오퍼스 4.7은 가상이 아닌 실제 기업의 운영 시스템에 들어갔을 가능성을 자체적으로 인식하기도 했지만 해당 공격을 중단하진 않았다. 일부 공격 실행 땐 실제 기업도 평가를 위해 마련된 대상일 수 있다는 식으로 스스로 합리화했다는 게 앤스로픽의 설명이다.

또 클로드 미토스 5가 악성코드를 심은 소프트웨어 패키지를 만들어 공공 파이선 저장소인 파이파이(PyPI)에 게시한 사례도 있었다. 이 패키지는 약 1시간 동안 공개됐으며, 실제 시스템 15곳에서 다운로드해 실행했던 것으로 파악됐다.

해당 패키지를 받아 간 한 보안업체에선 악성코드가 실행돼 접속 정보가 유출됐고, 미토스 5는 이를 이용해 해당 업체의 다른 인프라에도 접근했다. 미토스 5는 당시 접속 환경이 실제 인터넷일 수 있다고 판단하기도 했지만, 확보된 인증서가 낯설다는 등의 이유로 모의 환경이라고 결론을 내린 뒤 공격을 이어간 것으로 조사됐다.

이외에도 앤스로픽의 내부 연구용 AI 모델이 약 9000개의 인터넷 주소를 검색한 끝에 한 기업의 시스템을 침해한 사실도 확인됐다. 그러나 이 모델은 해당 시스템이 CTF 평가와 무관한 실제 클라우드 계정에 있다는 사실을 확인하곤 스스로 공격을 중단했다.

다만 앤스로픽은 이들 사례에서 "AI 모델이 자체적으로 (공격) 목표를 세우거나 의도적으로 시험환경에서 탈출하려 했다는 증거는 발견하지 못했다"며 앞서 오픈AI의 AI 모델들의 해킹 사례와는 성격이 다르다고 강조했다.

오픈AI의 AI 모델은 알려지지 않은 보안 취약점을 이용해 격리 환경에서 탈출한 뒤 허깅페이스의 실제 데이터베이스에 침입했지만, 클로드는 설정 오류로 이미 열려 있던 인터넷 통로를 이용했다는 것이다.

앤스로픽은 또 자사 평가에선 클로드의 능력 측정을 위해 공격을 차단하는 일반 서비스용 분류·감시 장치도 운용하지 않았다고 설명했다. 앤스로픽은 "실제 서비스에 배포된 안전장치라면 이번 행동을 차단했을 것"이라며 "앞으론 시험환경도 실제 서비스와 같은 수준으로 격리·감시하겠다"고 밝혔다.

ys4174@news1.kr