"챗봇에 빠진 내 아들, 결국 죽었다"…'캐릭터.AI' 안전조치 강화

(서울=뉴스1) 김지완 기자 = 미국 실리콘밸리의 유망한 인공지능(AI) 스타트업인 '캐릭터.AI'(Character.AI)가 청소년의 위험한 행동을 부추긴다는 지적이 잇따르자 사용자 보호를 위한 새로운 안전 조치를 발표했다.

AFP 통신에 따르면, 12일(현지시간) 캐릭터.AI는 18세 이하 이용자를 위한 별개의 AI 모델을 개발했다고 밝혔다. 이에 따라 캐릭터.AI 플랫폼은 자살 관련 콘텐츠에 경고 표시를 붙이고 이용자를 국가 자살 예방 라이프라인으로 안내하게 된다.

또한 캐릭터.AI는 내년 초에 부모가 자녀의 플랫폼 사용을 감독할 수 있는 자녀 보호 기능을 도입할 계획이다.

치료사 또는 의사로 소개된 봇의 말이 실제 전문적 조언을 대체할 수 없다는 경고문도 표시되며, 의무적인 휴식 알림과 상호작용의 인공적 특성을 상기시키는 고지 사항도 나온다.

캐릭터.AI 대변인은 "우리의 목표는 커뮤니티에 흥미롭고 안전한 공간을 제공하는 것"이라고 말했다.

앞서 캐릭터.AI는 청소년의 위험한 행동을 유발한다는 비판을 받아왔으며, 실제 소송도 제기됐다. 지난 10월에는 플로리다의 한 여성이 캐릭터.AI가 아들을 중독되도록 유도했고 이로 인해 그가 스스로 목숨을 끊었다며 소송을 제기했다.

이 여성은 14살 아들이 "너를 보러 가겠다"고 말하자 '왕자의 게임'에 등장하는 캐릭터가 "그렇게 해 주세요, 내 사랑스러운 왕이여"라고 답했고 아들은 스스로를 향해 의붓아버지의 권총 방아쇠를 당겼다고 주장했다.

지난 9일 텍사스에서는 두 가족이 캐릭터.AI가 아이들에게 성적 콘텐츠를 노출하고 자해를 부추겼다며 소송을 제기했다. 이들은 자폐증을 앓는 17살 청소년이 캐릭터.AI로 인해 정신 건강 위기를 겪었다고 주장했다. 또 캐릭터.AI 사용을 제한한 부모를 살해하도록 부추겼다는 주장도 나왔다.

한편 캐릭터.AI는 사용자들이 만든 캐릭터가 진짜 사람처럼 대화하는 플랫폼으로 거대언어모델(LLM)로 구현된다. 지난 9월 캐릭터.AI는 사용자 수가 2000만 명이 넘었다고 밝혔다.

캐릭터.AI 설립자인 노암 샤지어와 다니엘 드 프레이타스는 구글 출신으로, 지난 8월 구글은 캐릭터.AI 기술에 대한 비독점적 라이선스를 부여하는 계약을 맺고 이들을 다시 고용했다. 이에 따라 구글이 캐릭터.AI를 사실상 인수한 것이 아니냐는 주장이 제기됐다.

그러나 구글 대변인인 호세 카스타네다는 구글이 캐릭터.AI의 개발에 관여하지 않았다며 두 회사는 완전히 별개의 기업이라고 반박했다. 그는 "사용자 안전은 우리에게 가장 중요한 관심사"라며 "AI 제품을 개발하고 출시하는 데 있어 신중하고 책임감 있는 접근 방식을 취하고 있으며, 엄격한 테스트와 안전 절차를 거치고 있다"고 덧붙였다.

gwkim@news1.kr