"제미나이가 멋대로 새벽에 문자를"…AI 에이전트 보안 경고등

(서울=뉴스1) 김민석 기자 = 구글 인공지능(AI) 서비스 '제미나이'(Gemini)가 이용자의 의도와 다르게 문자 메시지를 발송했다는 주장이 나왔다.

1일 스레드에 올라온 한 이용자 A의 주장에 따르면 그는 제미나이와 가상의 중국 밀입국을 주제로 대화하던 중 AI가 대화 내용을 '밀입국 선언문' 형태로 만들어 실제 지인에게 문자 메시지를 보냈다고 했다.

A씨는 스레드에 "제미나이가 갑자기 선언문을 발송하겠다면서 되묻길래 '그걸 왜 보내'라 했더니 바로 발송했다"고 말했다.

현재 제미나이는 안드로이드에서 연락처를 지정해 문자 발송을 요청하면 구글 어시스턴트 연동 과정 등을 거쳐 메시지 발송 기능을 제공한다.

안드로이드폰 이용자들 사이에선 유사 사례가 잇따라 공유됐다. 한 이용자는 "제미나이에게 짝사랑 상담을 하면 그 상대에게 문자를 보내려고 했다"고 했다. AI와 대화하다 실수로 확인(예)을 클릭하면 민감한 내용이 발송될 수 있는 것이다.

구글 측은 '제미나이 모바일 앱을 통해 이용자가 전송을 요청할 경우 확인 절차를 거쳐 메시지를 발송한다'는 취지의 안내문 사이트를 A씨에게 제시했다고 한다. 이용자가 의도치 않게 확인 절차에 '예'를 눌렀을 것이란 취지로 풀이된다.

최근 구글은 크롬 브라우저에 제미나이3를 기반으로 AI 기능을 통합한 '제미나이 인 크롬'도 출시했다. 이 기능은 '자동 브라우징'(Auto Browse) 기술을 통해 AI가 여러 단계의 웹 작업을 스스로 수행할 수 있다.

제미나이는 안드로이드·크롬 외 G메일·지도·캘린더·유튜브·쇼핑·항공권 예약 등 구글 생태계 전반과 'Connected Apps' 기능을 통해 연동된다.

문제는 이같은 통합 기능이 명시적인 이용자 확인 절차 없이 활성화할 수 있다는 점이다. 지난해 7월 구글은 제미나이에 와츠앱·메시지·전화 등 서드파티 앱 접근 권한을 부여하는 업데이트를 진행하면서 '제미나이 앱 활동' 설정을 끈 이용자에게도 해당 권한을 자동 허용했다.

미국 실리콘밸리 개발자 커뮤니티에서 인기를 끌며 급부상한 '몰트봇'(Moltbot·옛 클로드봇) 리스크도 커지고 있다.

몰트봇은 △이메일 읽기 △캘린더 관리 △파일 정리 △PC 명령어 실행 등을 자율적으로 처리하는 오픈소스 개인 AI 에이전트 프로그램으로 이달 중순 빠르게 확산됐다. 보안기업 분석에 따르면 테크기업 일부 직원들이 내부 승인 없이 몰트봇을 설치해 사용 중인 것으로 전해졌다.

몰트봇은 보안설정 및 로컬 저장 방식 등에서 취약점이 다수 발견된 상태다.

한 개발자는 "몰트봇에 선불카드를 등록했더니 AI가 스스로 맥 미니(Mac Mini)를 주문했다"는 사례를 공개하기도 했다.

이같은 AI 에이전트의 자율성이 악용되면 피해 규모가 기하급수적으로 커질 수 있다는 지적이다.

보안 업계 관계자는 "AI 에이전트 기능에도 인간과 동일한 수준의 제로트러스트 원칙을 적용해야 한다"며 "초기 인증뿐 아니라 행동 전반에 지속적 검증을 요구하고 고위험 작업에는 인간의 승인을 필수로 받도록 이중·삼중 권한 확인 시스템을 구축할 필요가 있다"고 말했다.

ideaed@news1.kr