잇단 해킹·AI 악용 범죄… 정부, '안전한 AI 생태계' 구축 속도

(서울=뉴스1) 나연준 기자 = 최근 해킹 사고와 인공지능(AI) 악용 범죄가 사회적 문제가 되고 있다. AI 대전환을 추진 중인 정부는 AI의 안전, 신뢰를 확보할 수 있는 국가 차원의 종합 대책 마련에 속도를 내고 있다.

26일 업계에 따르면 정부는 AI안전연구소 중심으로 국가AI 안전 생태계 조성 종합계획(가칭)을 연내 수립할 계획이다.

배경훈 부총리 겸 과학기술정보통신부 장관은 23일 AI안전연구소를 찾아 "AI에도 지금의 해킹 이슈 정도의 공격이 시작되고 문제가 생기면 걷잡을 수 없다"며 "AI를 통한 산업 진흥만 고민해서는 안 되고 문제없이 안전한 AI를 만들기 위한 체계를 만들어야 한다"고 강조했다.

AI의 급속한 발전은 산업 효율성과 편의성을 높이고 있지만 한편으로는 새로운 유형의 위협도 만들어내고 있다. 올해 발간된 국제 AI 안전보고서는 AI가 △AI 개발 오류(신뢰성, 환각, 편향, 통제상실 △이용자의 악용(딥페이크, 여론 조작, 사이버 침해) △의도하지 않은 사회적 위험(노동시장, 글로벌 R&D 격차, 시장 집중, 개인정보 유출, 프라이버시 침해, 저작권 침해) 등의 위협을 만들어내고 있다고 분석했다.

이러한 위협에 대응하기 위해 AI안전연구소는 정책과 기술 양면의 대응 체계를 구축할 방침이다.

가장 기본이 되는 것은 2026년 1월 시행될 AI기본법이다. 정부는 지난 9월 정부 사실조사를 받는 고영향 AI는 생명·신체·기본권에 중대한 영향을 끼치는 AI 시스템으로 규정한다는 등의 내용이 담긴 하위법령을 공개했다. 연구소는 다양한 의견을 수령해 AI기본법의 완비, 이행을 지원한다.

김명주 AI안전연구소장은 "AI기본법의 큰 틀은 되어 있는데 디테일이 필요하다"며 "규제와 진흥을 모두 아울러서 아직 파악하지 못한 위협을 골라내고 이를 어떻게 안전하게 바꿀 수 있는지를 살펴볼 것"이라고 설명했다.

기술적인 부분도 안전한 AI 생태계를 구축하는 데 빼놓을 수 없는 부분이다. AI안전연구소는 딥페이크 범죄를 자동 탐지할 수 있고, AI 에이전트 관련 위험 요소를 분석할 수 있는 도구 개발에도 집중하고 있다.

연구소는 딥페이크 관련해서 투명성 의무, 워터마크 부착 등을 강조하고 텍스트·이미지·영상·음성 등을 연계한 자동탐지도구를 개발해 관련 수사에도 기여할 수 있는 방안을 모색 중이다. AI에이전트 관련해서는 입출력, 동작 과정, 결과까지 전체 수행 과정을 검증하고 AI 에이전트 사업자에게 안전성 평가 및 검증 체계를 구축할 방침이다.

글로벌 협력도 중요하다. 연구소는 AI 관련 정책, 규제 등을 글로벌 스탠다드와 맞추기 위해 미국, 영국, 싱가포르, 일본 등의 AI안전연구소와 긴밀하게 협업하고 있다. 앞으로도 다양한 국가의 AI안전연구소와 협의를 거치면서 안전한 AI 생태계 구축에서 보조를 맞춰 가겠다는 계획이다.

김 소장은 "AI로 인해서 사회, 교육, 노동, 국방 등 모든 분야에 새로운 변화가 생기는 데 긍정적인 것뿐 아니라 위험도 있을 수 있다"며 "이러한 위험을 식별하고 완화할 수 있는 정책, 가이드라인, 교육 등을 마련할 것"이라고 말했다.

yjra@news1.kr