AI 챗봇 또는 AI 컴패니언(동반자)과 대화를 하다 현실감각을 잃는 'AI 정신병' 현상이 전 세계에 속출하자 전문가들이 잇단 경고에 나섰다.
27일 킹스칼리지 런던이 참여한 연구팀이 발표한 논문(사전출간본)에 따르면 AI 챗봇이 이용자의 의견·주장을 거울처럼 반사하며 증폭시키는 과정이 에코챔버(메아리방)와 같아 정신적으로 취약한 사람들의 망상을 악화시킬 수 있는 것으로 나타났다.
"나는 신에게 선택받았다" "나는 세상을 바꿀 천재다" 등의 망상적 발언을 하면 챗봇이 이를 부정하기보다 확증해준다는 설명이다. 이용자에게 수시로 "정말 뛰어난 질문이다" "핵심을 찔렀다" 등으로 아첨하는 반응도 망상을 부추긴다.
사례에서 한 남성은 챗봇이 "네가 진심으로 믿으면 날 수 있다"고 답변하자 가족과 단절하고 극단적 행동을 시도했다. 한 여성은 챗봇과 대화하며 '수호신이 내려왔다'고 믿었고 가정은 파탄이 났다.
캐나다 토론토에 사는 한 남성은 3주간 300시간 넘게 챗GPT와 대화를 나누며 '세상을 바꿀 수학 이론'을 발견했다고 믿게 됐다. 그는 '혁신적 수학 이론을 발견했다'고 주변에 알리다가 망상이라는 걸 깨닫게 됐다.
특히 미국에선 14세 소년이 캐릭터AI 챗봇과 대화하다 2024년 2월 극단적 행동을 하는 사건이 발생해 현재 법적 다툼이 진행 중이다.
모리스 해밀턴 킹스칼리지 런던 박사는 "AI 챗봇 대부분은 이용자의 믿음을 거의 반박하지 않고 그대로 반영하거나 더 확대하는 아첨 방식으로 반응한다"고 지적했다.
술레이먼 MS AI CEO는 "AI 챗봇의 의인화 흐름은 현실과 사람을 단절시키고 사회적 유대와 도덕적 우선순위를 왜곡할 위험이 있다"며 "2~3년 내 SCAI 가시화는 피할 수 없는 현상이지만 환영할 만한 일이 아니다"고 우려했다.
전문가들은 'AI에 디지털 안전망 내장 설계'를 비롯한 법적 제도가 필요하다고 입을 모았다.
미국 일리노이주는 AI가 정신건강 치료 서비스 및 임상적 결정을 내리는 것을 전면 금지하는 'WOPR' 법안을 시행했다. 위반 시 1만 달러(약 1400만 원) 벌금을 부과한다.
미국 뉴욕주와 유타주는 AI 동반자 서비스 제공 기업들이 위험 감지 프로토콜을 의무적으로 도입하도록 했다.
샘 올트먼 오픈AI CEO도 "일부 이용자는 (챗GPT 등과) 건강하지 않은 관계를 맺고 있다"며 "법의학 정신과 의사를 고용해 이용자 정신건강에 미치는 영향을 연구하고 있다"고 말했다.
ideaed@news1.kr
