가사노동도 도울 휴머노이드…오작동 막을 '안전 AI' 숙제

[NTF2025]신동평 KISTEP 센터장 "일상 같이할 사용자 우려 중요"
"휴머노이드 위협 차단 킬스위치·사생활 유출 예방책 필요"

신동평 한국과학기술기획평가원 기술예측센터 센터장이 10일 서울 여의도 한국거래소 컨퍼런스홀에서 'AI 휴머노이드, 인간과 기계의 공존 시대'를 주제로 열린 2025 뉴스1 테크포럼(NTF)에서 'AI 윤리 - AI, A Perfect Stranger?'에 대해 주제강연을 하고 있다. 2025.7.10/뉴스1 ⓒ News1 박정호 기자

(서울=뉴스1) 윤주영 기자 = 휴머노이드가 인공지능(AI)과 결합하며 발전함에 따라 AI의 안전·신뢰성이 더욱 중요해질 거란 지적이다. 전문가뿐 아니라 말단 사용자인 시민의 논의를 수렴해 휴머노이드 활용 분야, AI 데이터 등 기준을 세워야 한다는 조언이 나온다.

10일 오전 서울 영등포구 한국거래소에서 열린 '2025 뉴스1 테크포럼(NTF)'에서 신동평 한국과학기술기획평가원(KISTEP) 기술예측센터장은 이같이 강조했다.

신 센터장에 따르면 과학기술정보통신부는 2023년 국가전략기술 AI 임무중심 전략로드맵을 통해 휴머노이드 등 분야에서의 안전·신뢰 AI를 다뤘다.

AI를 탑재한 휴머노이드는 자율적인 업무 수행으로 인간 노동을 도울 것으로 기대된다. 하지만 동시에 범죄 악용, 하드웨어·소프트웨어 오작동으로 인한 피해 등도 우려되는 상황이다.

KISTEP은 향후 휴머노이드와 일상을 고융할 일반 사용자, 즉 시민의 생각이 중요하다고 봤다. 이에 2024년 기술영향평가에서 시민 포럼을 열고 기술을 향한 기대와 우려를 종합했다.

우선 시민들은 휴머노이드에 탑재된 AI에는 더 높은 완성도를 요구했다. 휴머노이드가 육아 등 가사 노동에 쓰일 만큼 오작동은 용납하기 어렵다는 것이다. 사용자의 신체적 안전을 보장하는 규제·제어 시스템이 숙제로 제시됐다.

신 센터장은 "긴급 중단 시스템(킬스위치)을 장착해 휴머노이드의 오작동, 위협 행위를 즉각 차단하는 것도 방법으로 제시됐다"고 공유했다.

KISTPE과의 논의 과정에서 시민들은 휴머노이드가 대량의 개인 데이터를 수집·유출할 수 있다는 점도 우려했다. 휴머노이드 AI가 사용자 일상을 관리하는 과정에서, 필요 이상의 개인정보 수집이 이뤄질 거란 의미다. 개인정보가 외부로 노출되지 않도록 하는 안전장치가 필요하다고 제시됐다.

이 밖에도 휴머노이드가 자신의 오류를 인식·개선할 수 있어야 더욱 신뢰할 수 있다고 사용자들은 입을 모았다.

신 센터장은 이런 우려를 막기 위해서라도 양질의 학습 데이터가 필요하다고 강조했다. 또 정부 차원에서 설정한 AI 윤리 3대 원칙 등을 활용해 기술 활용의 기준을 세우는 것도 필요하다.

이에 따르면 AI 윤리기준은 인간의 존엄성, 사회의 공공선, 기술의 합목적성을 골자로 한다. 세부적인 요건으로는 AI의 설명 가능성(투명성), 책임성, 데이터 관리, 다양성 존중 등이 있다.

신 센터장은 "트롤리 딜레마나 대리인의 문제 등 AI 윤리 관련해서도 사용자에게 논의를 개방해야 한다"며 "한 달 뒤 시민들과의 논의의 장을 준비하고 있으니 많은 관심을 바란다"고 말했다.

legomaster@news1.kr