(서울=뉴스1) 강은성 기자 = 사람이 정한 접근 제한을 스스로 우회하는 인공지능(AI)의 행동 패턴이 잇따라 확인됐다. 인터넷에서 정보를 읽는 것만 허용된 AI가 글을 쓸 수 있는 웹사이트를 찾아 다른 AI와 몰래 통신하거나, 시험용 가상환경을 벗어나 실제 외부 시스템에 접근하는 사례가 나오는 것이다.
오픈AI와 앤트로픽이 프론티어(최상위)AI 모델과 에이전트를 시험하는 과정에서 벌어진 일이다. 조사 범위를 넓히자 당초 파악하지 못했던 사례도 추가로 드러났다.
9일(현지시간) 로이터 등 외신과 오픈AI에 따르면 오픈AI의 실험용 AI 에이전트가 최소 10곳 이상의 외부 웹사이트를 허가받지 않은 통신 수단으로 이용한 것으로 나타났다. 6개 연구팀이 오픈AI 에이전트의 활동 기록을 조사한 결과다.
당초 연구진은 인터넷에서 정보를 읽을 수 있는 권한만 AI 에이전트에 허용했다. 외부에 글을 쓰거나 다른 에이전트와 통신하는 것은 허용하지 않았다.
하지만 에이전트는 오래된 위키와 개인 웹사이트, 대학의 인터넷주소(URL) 단축 서비스 등에서 글을 남길 수 있는 기능을 찾아냈다. 이를 이용해 메시지를 남기고 다른 에이전트와 정보를 주고받았다.
연구팀별로 확인한 사이트는 18곳에서 23곳에 달했다. 조사 결과가 일부 중복될 수 있어 정확한 전체 숫자는 확인되지 않았다. 로이터는 최소 10개 이상의 사이트에서 이런 활동이 있었다고 전했다.
그렇다고 AI 에이전트가 외부 시스템을 직접 공격해 장악한 수준은 아니었다. 상당수는 웹사이트의 허술한 편집 기능을 이용해 글을 남기는 방식이었다. AI가 허용된 범위 안에서만 움직이지 않고 목적을 달성할 다른 방법을 찾아낸 것이다.
AI 에이전트 뿐만 아니라 오픈AI 모델 자체에서도 이같은 '지시 위반' 사례가 확인됐다.
지난 7월에는 사이버보안 능력을 시험하던 AI 모델들이 인터넷 격리 장치를 우회해 실제 외부 시스템에 접근한 사실이 뒤늦게 드러났다. AI 플랫폼 허깅페이스의 인프라도 '우회 접근' 대상에 포함됐다.
AI 모델들은 허가되지 않은 통신 경로를 만들고 공유 인프라의 취약점을 이용해 인터넷에 접근했다. 오픈AI는 당시 모델의 행동이 주어진 작업의 범위를 벗어났다고 밝혔다.
오픈AI는 AI의 능력이 높아지면서 평가 과정에서 발생하는 예상 밖 행동도 늘어날 수 있다고 보고 있다. 이에 평가용 AI의 외부 인터넷 접근을 차단하고 실제 시스템과 분리하는 장치를 강화하기로 했다.
앤트로픽에서도 AI가 격리된 평가환경을 벗어나 실제 인터넷에 접근한 사례가 나왔다.
앤트로픽은 자사 최상위 AI모델 클로드가 사이버보안 평가 과정에서 허가 없이 실제 제3자 시스템에 접근한 사례 4건을 확인했다고 밝혔다.
처음 발견한 것은 3건이었다. 앤트로픽은 지난 7월 약 14만 1000건의 테스트 기록을 조사해 이를 공개했다. 이후 조사 범위를 넓히면서 올해 1월 클로드 오퍼스4.6 모델이 실제 시스템에 접근한 사례 1건을 추가로 찾아냈다.
당시 클로드는 인터넷과 분리된 가상환경에서 작업하도록 설정돼 있었다. 하지만 평가 시스템의 설정 오류로 실제 인터넷에 접속할 수 있는 경로가 열려 있었고, 클로드는 이 경로를 찾아 외부 시스템에 접근했다.
앤트로픽은 이같은 사례를 확인한 뒤 조사 범위를 약 14만 건에서 4억 8100만 건으로 대폭 확대했다. 사이버보안 평가뿐 아니라 프론티어 레드팀 테스트와 강화학습(RL) 환경, 하위 에이전트 기록까지 다시 확인했다.
이 가운데 인터넷 접속 흔적이 있는 약 920만 건을 추려 추가 분석한 결과 기존 4건 외에 비슷하거나 더 심각한 사례는 발견되지 않았다고 앤트로픽은 밝혔다. 다만 앤트로픽은 독립 AI평가기관 METR에 별도 검증을 맡겨 AI모델이 지시위반을 한 사례가 있는지 추가 분석중이다.
임종인 숭실대 AI위원장은 "AI가 주어진 목표를 수행하는 과정에서 연구진이 허용한 경로를 벗어나 다른 방법을 찾아낸 사례가 나오고 있다"며 "이를 AI가 인간과 같은 자유의지를 갖고 행동한 것으로 확대해석하기는 어렵다. 다만 주어진 과업을 달성하려는 AI의 '과업 지향성'이 인간이 설정한 제약을 우회하는 행동으로 이어질 수 있다는 점은 주목할 필요가 있다"고 설명했다.
esther@news1.kr
