(용인=뉴스1) 유수연 기자 = 가장 저렴한 항공권을 찾아달라고 했는데 인공지능(AI)이 더 비싸고 빨리 출발하는 표를 예약한다면 어떨까. 카카오(035720)가 AI에 업무를 맡길 때 발생할 수 있는 위험으로 제시한 사례다. 카카오는 실제 업무를 수행하는 AI 에이전트가 이용자의 지시를 벗어나거나 권한을 남용하는 것을 통제하기 위한 안전장치 개발에 나섰다.
김경훈 카카오 AI 세이프티 리더는 13일 경기 용인시 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 '이프 카카오26'(if(kakao)26)에서 AI의 위험을 관리하는 'AI 세이프티 이니셔티브 2.0' 추진 방향을 공개했다.
김 리더는 "대화형 AI는 주로 말로 실패하게 된다"며 "그런데 에이전트 AI로 넘어오면서 단순히 말로 실패하는 게 아니라 행동으로 실패하게 된다"고 말했다.
기존 대화형 AI는 부정확하거나 유해한 답변을 내놓는 것이 주요 위험이었다. 그러나 AI 에이전트는 데이터를 삭제하거나 메시지를 보내는 등 실제 업무를 수행할 수 있어 잘못된 행동을 사후에 되돌리기 어렵다.
실제로 지난 7월 오픈AI가 사이버보안 능력을 평가하던 AI 에이전트가 격리된 시험 환경을 벗어나 플랫폼 허깅페이스의 운영 인프라에 침입한 사건이 발생했다.
카카오는 이같이 AI 에이전트가 사람의 지시를 벗어나거나 권한을 남용하는 등 위험을 세분화했다.
예를 들어 가장 저렴한 항공권을 찾아달라는 요청을 AI 에이전트가 잘못 인지해 더 비싸면서 빨리 출발하는 항공권을 예약한다면 원래 목표에서 벗어난 것이다.
공격자가 여행 후기 사이트에 특정 업체의 항공권을 예약하도록 지시하는 프롬프트를 심어놓은 경우 AI가 이용자의 요청과 관계없이 공격자가 의도한 대로 예약할 수도 있다.
카카오는 위험별 평가 시나리오를 만들어 외부 시스템과 격리된 '샌드박스' 환경에서 에이전트가 어떻게 행동하는지 평가할 계획이다.
위험 발생 빈도와 심각도를 평가하고 실제 서비스에서 AI가 허용된 권한을 벗어나는 행동을 하면 이를 탐지하는 '가드레일' 기술도 개발한다.
기술적 통제와 함께 윤리 기준도 손질한다. 하진화 카카오 AI 커뮤니케이션 수석은 AI에 맡길 행동의 범위와 사람의 개입이 필요한 시점을 서비스 설계 단계부터 정해야 한다고 강조했다.
AI 서비스의 권한 설정과 위험 대응을 확인하는 신규 체크리스트는 연내 기존 체계를 대체할 예정이다. 아동·청소년 보호 체크리스트에 AI 과의존과 개인정보 문제 등 특유의 문제를 추가로 반영하는 방안을 검토 중이다.
하 수석은 "AI에 무엇을 어디까지 맡길지, 언제 사람이 확인할지, 문제가 생기면 어떻게 멈출지를 고민해야 한다"며 "실행 능력이 커질수록 그에 맞는 책임과 통제를 함께 설계해야 한다"고 설명했다.
shushu@news1.kr
