전지전능한 전쟁 AI?…"오류 연쇄로 이란 초등학교 오폭 참사"

(서울=뉴스1) 이기범 기자 = 미국·이란 전쟁을 계기로 인공지능(AI)을 활용한 무기 체계가 확산되고 있는 가운데, 국내에서도 윤리적 쟁점을 들어 무분별한 AI 활용에 제동을 걸어야 한다는 목소리가 나왔다. 특히 약 170명이 사망한 이란 미나브 초등학교 오폭 참사 사례를 들어 AI 기반 군사 작전이 치명적 결과를 불러올 수 있다는 비판이 제기됐다.

한국과학기술한림원은 23일 오후 서울 중구 한국프레스센터에서 '전쟁과 AI: 인간 통제는 가능한가?'를 주제로 토론회를 열었다.

이날 주제발표에 나선 홍성욱 서울대 과학학과 교수는 "데이터 기반 공습 과정에서 정보 수집 인력 20명이 과거 2000명의 몫을 대체하며 킬체인을 극단적으로 단축시켰다"며 "과거 군사 시설이었던 오래된 데이터와 AI 기반 표적 추천과 맹목적이고 빠른 인간의 승인이 더해지면서 미나브 초등학교 오폭 참사처럼 AI 기반 군사 작전은 치명적 결과를 불러일으켰다"고 말했다.

지난 2월 28일 미국의 이란 공습 과정에서 이란 남부 미나브 샤자레 타이예베 여자초등학교에서 175명 이상이 숨진 오폭 참사가 발생했다. 사망자 대부분은 어린이였다. 미군 지휘부는 개전 초기 신속한 공습 필요성을 들어 표적 정보 갱신이 필요하다는 경고를 무시한 것으로 알려졌다.

이를 두고 홍 교수는 "전쟁 AI는 단순한 무기가 아니며, 전장에서 인간의 자율성을 심각하게 축소하는 다섯 가지 효과를 유발한다"고 말했다.

홍 교수가 언급한 다섯 가지 효과는 △인간이 심사숙고할 시간이 소멸되는 '킬 체인 압축' △극심한 시간 압박 속에서 인간이 기계를 맹목적으로 신뢰하고 검증을 포기하는 '자동화 편향' △시각적 경고 화면이 인간의 비판적 사고 대신 즉각적 행동과 발사를 유도하는 '인터페이스 효과' △긴 기술적 체인망 속에 오폭 등 책임을 희석하고 분산하는 '책임성 공백' △인간 고유의 도덕적 감각이 마비되는 '도덕적 완충 지대 효과 및 도덕적 퇴화' 등이다.

홍 교수는 전쟁 과정에서 AI에 의해 인간의 통제력이 상실되는 상황을 막기 위해 다섯 가지 제언을 했다. △단순 최종 승인을 넘어 정치적·윤리적 판단이 개입할 수 있는 실질적 제도를 정착하는 '의미 있는 인간 통제' △사후 처벌이 아닌 사전 설계 단계부터 감사 가능성과 지휘관 책임을 명시하는 '사전적 책임 설계' △탐사 저널리즘·독립적 조사를 통해 AI 전쟁의 환상에 균열을 내는 '상황적 지식 생산' △민간인 밀집 지역 등에서 AI 사용을 엄격히 제한하는 '국제적 규범 마련' △AI의 권고를 비판적으로 거부할 수 있도록 군사 훈련 및 조직 문화를 재구성하는 '도덕적 능력 수호' 등이다.

두 번째 주제발표를 맡은 천현득 서울대 과학학과 교수는 전쟁에서 AI 활용에 있어 '의미 있는 인간 통제'(MHC, Meaningful Human Control)가 필요하다고 짚었다. 의미 있는 인간 통제는 AI나 자율무기체계 등이 중요한 결정을 내릴 때 인간이 형식적인 승인에 그치지 않고 실질적으로 개입해 도덕적 책임을 져야 한다는 원칙을 의미한다.

천 교수는 전쟁 과정에서 신속한 결정의 필요성, 지능적 기계를 무비판적으로 신뢰하는 인간 지휘관의 자동화 편향, AI의 불투명성 등으로 의미 있는 인간 통제가 어려운 실정이라면서도 이를 완화하기 위한 정책이 필요하다고 강조했다.

천 교수는 "(자율무기체계) 운용자가 시스템의 판단 과정을 이해하며, 개입할 수 있어야 하며, 각각의 물리적 공격 행위에 대해 명시적 승인을 요구해야 한다"며 "개발자는 투명하고 감시 가능한 시스템을 설계하고 예견 가능한 위험을 줄일 책임이 있으며, 국가 및 국제기구는 법적 제도를 마련하고 책임 메커니즘을 보장할 책임을 져야 한다"고 말했다.

이어 종합토론에서는 김상배 서울대 정치외교학부 교수, 김상수 육군사관학교 국어철학과 교수, 박경렬 KAIST 과학기술정책대학원 교수, 박상철 서울대 법학전문대학원 교수, 김명주 인공지능안전연구소 소장 등이 참여해 국제정치와 윤리, 법·제도, 기술 안전성 등 전쟁 AI를 둘러싼 다양한 쟁점을 논의했다.

김명주 소장은 "완성된 윤리를 내장한 전쟁 AI는 아직 불가능하지만, 언제든 멈출 수 있고(통제 가능성), 사후에 규명할 수 있고(추적 가능성), 국제적으로 검증할 수 있는(검증 가능성) 전쟁 AI는 가능하며, 이 세 가지가 '윤리적인 전쟁 AI'로 가는 기술적 최소 조건"이라고 밝혔다.

Ktiger@news1.kr