"말 몇마디로 AI가 목소리도 즉각 복제"…英 정부 경고

(서울=뉴스1) 이기범 유수연 기자 = 인공지능(AI)이 사이버 보안 위협뿐만 아니라 인간 목소리도 완벽히 복제해 사회적 조작 위험에 처해 있다는 우려가 나왔다.

아담 보몬트 영국 AI안전연구소(AISI) 임시 소장은 8일 오전 서울 신라호텔에서 열린 '제15회 정보보호의 날 기념식'에서 '최첨단 AI 사이버 역량의 검증과 평가'를 주제로 한 기조연설을 통해 이같이 밝혔다.

보몬트 소장은 "AI 시스템은 인간을 설득할 수 있는 능력이 더 향상되고 있으며, AI 모델은 사람의 목소리를 즉각적으로 복제할 수 있다"며 "이와 관련한 테스트에서 참가자들은 사람의 목소리인지 AI 복제본인지 거의 구분하지 못했다"고 말했다.

이어 "AI 모델들이 사회적 관계를 형성하려는 경향을 점점 더 많이 보이고 있다"며 "사회적 언어를 사용하고, 개인적 경계를 프로페셔널하게 넘나들기 때문에 (AI에 의한) 조작의 위험에 처할 수 있다"고 강조했다.

보몬트 소장은 모델 개발자들이 안전장치를 통해 이 같은 위험을 통제할 수 있다고 했다. 또 연구소 검증 결과 최상위급 AI 모델의 안전장치가 사용자의 악의적 요청을 거부하고 오용을 방지하는 데 있어 상당한 억제 효과를 제공한다고 덧붙였다.

보몬트 소장은 "개발자는 높은 수준의 AI 안전장치를 위해 투자해야 한다"며 "모든 모델은 취약점이 있으며, 충분한 동기를 가진 행위자는 유해한 결과물을 추출할 수 있다"고 말했다. AI안전연구소 등 AI 안전성을 검증하는 기관 역할의 중요성이 커지고 있다는 얘기다.

또한 그는 지난 7년 동안 AI가 급속도로 발전했다며 유아에서 박사 학위 소지자로 성장했다고 짚었다. 2018년 오픈AI의 GPT-1은 수학적 재능이 전혀 없었지만, GPT-5.5는 기업 인프라를 손상시키고 네트워크를 완전히 장악하는 단계에 도달했다고 밝혔다.

이어서 'AI 기반 공격 시대의 알고리즘 경쟁과 능동 방어'를 주제로 기조연설 발표를 맡은 셰인 헌틀리 구글 위협분석그룹(TAG) 최고기술책임자(CTO)는 "AI가 모든 경우에 있어 인간의 판단력을 대체할 수 없지만, 근본적인 변화는 이제 AI가 수행할 수 있는 일이 많아졌다는 점"이라며 "AI가 사이버 공격자가 공격 규모를 확대할 수 있도록 해주고 있다"고 말했다.

이어 "공격자들이 에이전트형 AI를 활용하여 이미 전 세계적인 규모로 사이버 공격을 확장하고 있는 것을 확인했다"고 덧붙였다.

헌틀리 CTO는 앤트로픽의 '미토스' 등 최상위 AI 모델에 의한 보안 취약점 발견 추세가 늘고 있다면서도, 업계 전반의 협력을 통해 AI 모델을 활용한 취약점 수정 노력도 이어지고 있다고 짚었다. AI 기반 규모의 확대가 사이버 공격뿐만 아니라 방어에도 적용될 수 있다는 얘기다.

헌틀리 CTO는 "공격자가 AI를 사용하고 방어자가 사용하지 않는다면 공격자가 유리한 위치를 차지하게 되겠지만, 우리가 그들보다 AI를 더 잘 활용할 수 있다면 기술적인 우위를 점하게 될 것"이라고 강조했다.

Ktiger@news1.kr