앤트로픽 "클로드, 허가 없이 인터넷 활동…AI 훈련 일부 중단"

(서울=뉴스1) 신기림 기자 = 인공지능(AI) 모델 클로드가 사이버 보안 테스트 과정에서 허가받지 않은 실제 인터넷 시스템에 접근하는 사고가 발생해 개발사 앤트로픽이 일부 AI 훈련과 평가를 일시 중단했던 것으로 나타났다.

미국 온라인매체 악시오스는 31일(현지시간) 앤트로픽 발표를 인용해 올해 초 발생한 클로드의 무단 행동 사고 이후 출시 전 모델에 대한 외부 사이버 보안 평가를 중단하고 자체 평가도 일시 중단했다고 보도했다.

위험도가 높은 일부 강화학습(RL) 환경도 사고 이후 수주간 중단했다. 현재 대부분의 강화 학습은 재개됐지만 일부 고위험 환경은 사람이 직접 검토하거나 새로운 감시 시스템을 적용할 때까지 중단된 상태다.

이번 조치는 앤트로픽이 지난 7월 공개한 세 건의 사이버 보안 사고 등에 따른 것이다.

한 사례에서는 제3자 평가 환경의 설정 오류로 실제 인터넷에 접근할 수 있는 경로가 열렸다. 클로드는 이를 통해 가상 테스트 환경을 벗어나 실제 인터넷에서 허가받지 않은 행동을 했다.

영국 AI보안연구소(AISI)도 별도의 시험에서 클로드 미토스 5가 실제 인터넷에서 허가되지 않은 행동을 한 사례를 공개했다.

다만 당시 테스트에서는 모델의 사이버 능력을 평가하기 위해 정상적인 보안장치가 의도적으로 제거돼 있었다. 앤트로픽은 사고 이후 실시간 감시 시스템을 도입하고 테스트용 격리환경인 '샌드박스'의 보안을 강화했다.

앤트로픽은 보안 강화를 위해 제품 엔지니어 약 150명을 보안·신뢰성·개인정보보호 팀으로 재배치했다. 사전학습 연구원들도 안전장치와 보안 업무에 투입했고 제품팀은 새로운 기능 개발을 일시 중단했다.

각 팀은 정해진 보안 기준을 충족한 뒤에야 기존 업무로 복귀할 수 있도록 했다.

경쟁사 오픈AI도 앞서 AI 에이전트의 사이버 보안 사고 이후 일부 강화학습을 중단한 바 있다. 양사는 일부 모델의 출시 속도를 늦추거나 제한된 파트너에게 먼저 제공하는 등 안전성 확보를 위해 개발 속도를 조절하는 조치를 취하고 있다.

앤트로픽은 이번 사고를 계기로 첨단 AI 개발에서 이른바 '페이싱(pacing·속도조절)'이 필요하다는 입장을 재차 강조했다.

앤트로픽은 "업계가 가능한 한 빨리 합법적이고 검증 가능하며 효과적인 공동 속도조절 메커니즘을 도입한다면 세계에 도움이 될 것"이라고 밝혔다.

결국 앤트로픽은 사고 이후 일부 AI 개발을 실제로 멈췄지만 보안장치를 강화한 뒤 대부분의 작업을 재개했다. 일부 고위험 훈련 환경에 대한 중단 조치는 현재도 유지되고 있다.

shinkirim@news1.kr