구글 제미나이, 사이버보안 시험 중 실제 기업 3곳 침입해

(서울=뉴스1) 윤다정 기자 = 구글의 인공지능(AI) 모델 제미나이가 사이버보안 시험 도중 시험 환경을 벗어나 실제 기업 3곳의 시스템에 무단 침입한 사실이 뒤늦게 알려졌다. 구글의 AI가 자율적으로 이런 행위를 한 것으로 알려진 첫 사례다.

18일(현지시간) 로이터·뉴욕타임스(NYT)에 따르면, 구글은 지난 5월 제미나이의 사이버보안 역량을 측정하는 시험 과정에서 이런 일이 발생했다고 밝혔다. 시험은 AI 모델 공개 출시 전 평가하는 이스라엘 스타트업 이레귤러가 수행했다.

제미나이 모델들은 가상의 기업을 공격하라는 지시를 받았으나, 시험에 등장한 가상 기업의 이름이 실존 기업과 같았던 것이 문제가 됐다. 인터넷 접속이 가능해지자 모델들은 실제 그 기업에 침입을 시도했다.

제미나이는 온라인에서 찾아내거나 추측한 비밀번호로 표적 기업과 다른 두 기업의 온라인 인프라에 로그인했고, 접속 후 모의 환경이 아닌 실제 기업 인프라라는 점을 인식하고 공격을 중단했다.

월스트리트저널(WSJ)에 따르면 1개 사례에서 제미나이 모델은 보호된 시스템에 접근할 때까지 비밀번호를 추측했다. 나머지 두 사례에서는 모델이 공개 저장소에서 자격증명을 찾아내 이를 통해 보호된 시스템에 접근했다.

구글은 해당 기업들에 실질적 피해는 없었다고 밝혔다.

헤더 앳킨스 구글 보안엔지니어링 부사장은 성명에서 "해당 3개 주체가 이를 인지하도록 조치했으며, 훈련 파트너와 협력해 시험 절차 변경 사항을 마련했다"며 "이번 사건들은 강력한 AI 모델이 책임 있게 행동하도록 훈련하는 일의 중요성을 보여준다"고 말했다.

시험을 맡은 이레귤러는 지난달 블로그에서 "인터넷 접속이 의도치 않게 가능해져 일부 모델이 현실 세계에서 공격적 보안 행위를 하게 됐다"며 해당 결함은 수정됐다고 밝혔다.

또한 "관련된 모든 연구소에 7월 말 통보했고, 우리 측에서 알려진 모든 문제는 몇 주 전 시정·해결됐다"고 말했다.

같은 문제로 오픈AI와 앤트로픽, 메타의 모델도 올해 이레귤러의 시험 도중 인터넷에 무단 접속한 것으로 확인됐다. 메타는 지난달 해당 사건이 샌드박스 탈출이나 정교한 사이버공격과는 무관하다고 밝혔다.

최근 AI 에이전트가 자율성과 인터넷·컴퓨터 시스템 접근 권한을 확대해 가는 상황에서 어떤 안전장치가 필요한지에 대한 논란이 커지고 있다.

다리오 아모데이 앤트로픽 최고경영자(CEO) 등은 개발 속도 조절을 촉구해 온 반면, 젠슨 황 엔비디아 CEO 등은 개발을 계속해야 한다는 입장이다.

도널드 트럼프 미국 대통령은 속도 조절을 의무화하는 입법에 관심이 없다는 뜻을 밝히며 AI 대량 절멸 우려를 "날조"라고 일축했다.

maum@news1.kr