딥페이크 가짜뉴스 '철퇴'…정부, '6·3 지선'에 AI 탐지 모델 투입(종합)

(서울=뉴스1) 한지명 기자 = 정부가 선거 과정에서 확산하는 딥페이크 가짜뉴스 대응을 위해 인공지능(AI) 기반 탐지 기술을 도입한다.

행정안전부는 국립과학수사연구원과 공동 개발한 'AI 딥페이크 탐지 분석 모델'을 오는 6월 3일 실시되는 '제9회 전국동시지방선거'에 활용할 계획이다.

이에 앞서 10일 오후 정부서울청사에서 탐지 모델을 공개하고 실제 딥페이크 영상 판별 과정을 시연했다.

최근 생성형 인공지능 기술 발달로 특정 인물의 얼굴이나 음성을 합성한 딥페이크 콘텐츠가 빠르게 확산하면서 선거 과정에서 허위 정보로 악용될 수 있다는 우려가 커지고 있다.

중앙선거관리위원회에 따르면 선거 기간 딥페이크 영상 삭제 요청은 2024년 제22대 총선 당시 388건에서 2025년 대선에서는 1만510건으로 크게 증가했다.

윤호중 행정안전부 장관은 시연회에서 "딥페이크는 단순한 기술 문제가 아니라 민주주의를 흔들 수 있는 새로운 정보 범죄"라며 "선거 과정에서 허위·조작 정보 대응 역량을 강화해 공명선거 환경을 만들겠다"고 말했다.

시연에서는 생성형 AI로 제작된 경찰 바디캠 영상과 선거 유세 영상 등을 실제 탐지 시스템으로 분석하는 과정이 공개됐다. 영상 파일을 시스템에 올리면 여러 탐지 모델이 동시에 분석을 수행하고 각 모델의 결과를 종합해 딥페이크 여부를 판단하는 방식이다.

탐지 결과는 0~100점 점수로 표시되며 100에 가까울수록 딥페이크 가능성이 높은 것으로 판단된다. 여러 모델의 분석 결과를 종합하는 다수결 방식으로 최종 판정이 이뤄진다.

이번 모델은 영상 전체 흐름을 분석하는 '전역 분석'과 얼굴 등 특정 부위를 확인하는 '국소 분석'을 결합해 딥페이크 여부를 판별한다. 검증 결과 탐지 정확도는 약 92% 수준으로 기존 모델(76%)보다 크게 향상됐다는 설명이다.

박남인 국과수 연구관은 "기존 딥페이크 탐지 기술은 얼굴 영역 위주로 분석했지만, 이번 모델은 영상 전체 영역까지 분석할 수 있도록 확장했다"며 "여러 탐지 알고리즘을 결합한 앙상블 방식으로 탐지 정확도를 높였다"고 설명했다.

또 영상뿐 아니라 음성 분석 기능도 포함했다. 영상에서 추출한 오디오를 별도로 분석해 음성 딥페이크 여부도 판별할 수 있다.

탐지 모델에는 민간 AI 기술도 일부 반영했다. 행안부와 국과수는 지난해 '딥페이크 범죄 대응 AI 탐지 모델 경진대회'를 통해 확보한 상위 모델 가운데 5개 모델을 결합해 탐지 시스템을 구축했다. 당시 대회에는 268개 팀, 1077명의 AI 전문가가 참여했다.

그동안 행안부와 국과수는 2024년 1차 딥페이크 탐지 모델을 개발한 데 이어 지난해부터 수사기관 의뢰를 받아 딥페이크 감정 업무를 수행해 왔다. 영상·음성 등 약 231만 건의 데이터를 활용해 학습했으며, 경찰 수사 의뢰 사건 15건의 딥페이크 여부를 분석하는 데 활용했다.

또 지난해 대선 기간에는 중앙선관위와 협력해 온라인 불법 딥페이크 선거물 1만여 건을 탐지·삭제하기도 했다.

선거 과정에서 딥페이크 영상 제작이나 유포는 공직선거법 위반으로 처벌될 수 있다.

선거일 90일 전부터 선거일까지 선거운동 목적으로 딥페이크 영상이나 음성을 제작·유포할 경우 공직선거법 제255조에 따라 7년 이하 징역 또는 1000만~5000만원 벌금형에 처할 수 있다.

또 AI로 제작된 영상이라도 이를 명확히 표시하지 않을 경우 과태료 부과 대상이 되며, 영상 내용이 허위사실에 해당할 경우 허위사실 공표죄가 별도로 적용될 수 있다.

선관위는 유권자 신고와 모니터링 요원을 통해 딥페이크 콘텐츠를 확인하고 있으며 위반 영상 발견 시 삭제 요청이나 경찰 수사 의뢰 등의 조처를 하고 있다.

홍석기 경찰청 수사국장은 "최근 생성형 AI 기반 딥페이크가 등장하면서 기존 수사 방식만으로는 대응이 어려운 상황"이라며 "국과수 탐지 기술과 수사 경험을 결합해 대응 체계를 강화할 계획"이라고 말했다.

hjm@news1.kr