에이전틱 AI에 개인정보 어디까지 맡기나…정부, 안전기준 마련

(서울=뉴스1) 나연준 기자 = 인공지능(AI)이 이용자의 지시를 받아 스스로 과업을 수행하는 '에이전틱 AI' 확산에 맞춰 정부가 개인정보 보호 기준 마련에 나선다. 프롬프트 인젝션이나 AI에 부여된 과도한 권한으로 개인정보가 유출·오남용될 위험을 줄이고, AI의 로그·메모리에 저장된 개인정보의 보관·파기 기준 등도 구체화한다.

개인정보보호위원회는 23일 서울 은행회관 국제회의실에서 'AI 프라이버시 민·관 정책협의회 2기 제2차 전체회의'를 개최하고 에이전틱 AI 확산에 따라 새롭게 제기되는 개인정보 보호 문제를 논의했다.

김병필 KAIST 교수는 지난 7~8월 국내외 AI 개발·도입 기관 15곳을 대상으로 진행한 현장 인터뷰 결과를 발표했다.

인터뷰 참여 기관들은 '프롬프트 인젝션'과 에이전틱 AI에 부여되는 과도한 권한을 주요 위험 요인으로 꼽았다. 프롬프트 인젝션은 AI에 악의적인 명령어를 주입해 시스템이 의도하지 않은 행동을 하도록 유도하는 공격 기법이다.

기존 생성형 AI가 주로 이용자의 질문에 답변을 생성했다면 에이전틱 AI는 이용자를 대신해 여러 시스템과 데이터에 접근하고 과업을 수행할 수 있다. 그만큼 AI에 어떤 권한을 부여하고 어느 단계에서 이용자 승인을 받도록 할지 등이 새로운 개인정보 보호 과제로 떠오른 것이다.

현장에서는 이에 따라 AI가 자율적으로 처리할 수 있는 업무와 이용자의 승인이 필요한 업무 사이의 경계를 명확히 설정할 필요가 있다는 의견이 제시됐다. AI 서비스에 참여하는 주체별 법적 지위와 책임, 로그·메모리 등에 축적되는 개인정보의 보관·파기 기준도 마련해야 한다는 지적이 나왔다.

개인정보위는 향후 에이전틱 AI 관련 안내서를 마련할 때 특정 기술이나 서비스에 한정하기보다 원칙·위험 기반 접근과 기술 중립성을 유지하는 방안을 검토한다.

AI 시대에 맞춘 개인정보 제도 개편도 추진한다. 개인정보위는 국민 권리 보호에 미치는 영향은 크지 않으면서 데이터 활용을 제약하는 형식적인 규제를 합리화하는 한편 AI 환경에 필요한 새로운 개인정보 보호 규범을 마련할 계획이다.

이날 토론에서는 AI 개발에 필요한 데이터의 확보·활용을 위해 개인정보 처리 근거를 유연화하는 방안과 AI 개인정보 활용 특례의 합리적 운영, AI 환경에 맞는 안전장치 및 책임구조 마련 등이 논의됐다.

AI 개인정보 활용 특례는 가명·익명정보만으로 AI 개발이 어렵고 공익·사회적 필요성이 인정되는 경우 강화된 안전조치와 개인정보위 심의·의결을 전제로 적법하게 수집한 개인정보를 AI 기술 개발에 활용할 수 있도록 하는 제도다. 관련 개인정보보호법 개정안은 내년 3월 9일 시행된다.

개인정보위는 이날 논의 결과를 올해 말 공개할 예정인 '에이전틱 AI 개인정보 처리 안내서'(가칭)와 개인정보 제도 혁신 방안에 반영할 예정이다.

송경희 개인정보위원장은 "국민 편익을 가져오는 기술 발전은 충분히 뒷받침하면서 국민의 프라이버시 보호를 비롯한 권리와 안전을 함께 지켜나가야 기술이 지속 가능할 수 있다"며 "민관이 협력해 합리적이고 균형 잡힌 AI 개인정보 규율체계를 마련해 나가겠다"고 말했다.

yjra@news1.kr