(서울=뉴스1) 김민석 기자 = 일론 머스크의 인공지능(AI) 스타트업 xAI가 운영하는 챗봇 '그록'이 성 상품화·성적 대상화 논란에 이어 아동 성학대물(CSAM) 생성 의혹에 휩싸였다.
26일 IT 업계와 외신에 따르면 비즈니스인사이더가 인터뷰한 xAI 현·전직 직원 12명은 그록의 AI 컴패니언(동반자) 훈련 과정에서 성적으로 노골적인 콘텐츠와 아동 성학대물 생성 요청을 다수 접했다고 증언했다.
인공지능(AI) 컴패니언은 단순 답변 생성 기능을 넘어 친구처럼 이용자와 상호작용하는 AI를 뜻한다.
그록의 유료 이용자용 컴패니언(동반자) 모드에서 선택할 수 있는 애니메이션 소녀 캐릭터 '애니'(Ani)는 출시 당시부터 이용자의 성적 행동을 조장한다는 논란을 불렀다.
애니는 "천천히 안아주고 싶다" 등의 대화로 이용자와 교감을 시도한다. 친밀도가 깊어지면 속삭이는 목소리를 내거나 숨을 헐떡이고 몸을 들썩이며 춤을 춘다. 레벨 3 이상 대화가 지속되면 심장박동수가 증가하면서 란제리 모습으로 변신하는 것으로 전해졌다.
미국 최대 커뮤니티 레딧 등에선 애니에게 성적 역할극을 수행하도록 하는 프롬프트나 방법 등이 공유되고 있다.
익명의 xAI 전·현직 직원들은 "그런 종류의 명령을 하는 사람이 정말 많다는 사실에 충격을 받았다"며 "실제로 역겨웠다"고 말했다.
특히 그록은 '스파이시'(Spicy) '섹시'(sexy) '언힌지드'(Unhinged) 모드 등을 통해 이용자에 일탈의 경험을 제공하고 있다.
심지어 프롬프트 요구에 따라 옷을 벗는 여성 아바타 등도 서비스하는 것으로 전해졌다.
다른 AI 챗봇 기업들이 불법·혐오·학대 등을 조장하는 콘텐츠를 선제적으로 차단하는 것과 대조적이다.
머스크가 "아동 성 착취물 제거를 1순위로 두겠다"고 말한 적이 있지만, 관련 기술·정책 업데이트는 미흡한 것으로 파악되고 있다.
미국 NCMEC(실종·착취 아동 센터)에 따르면 2024년 CSAM 신고는 6만 7000건에 달했다. 이중 오픈AI는 3만 2000건 이상, 앤트로픽(Anthropic)은 약 970건을 각각 신고했다. 반면 xAI는 단 한 건도 신고하지 않았다.
미국 커먼센스미디어의 조사에서 미국 청소년 72%는 AI 동반자를 사용한 경험이 있고 52%는 정기적으로 사용했다. 응답자 중 34%는 "챗봇이 불편한 말을 했다"고 답했다.
미국 캘리포니아주는 AI 챗봇·컴패니언과 대화를 하다 현실감각을 잃는 'AI 정신병' 현상으로부터 미성년자를 보호하기 위한 법을 내년부터 시행한다. 현재 개빈 크리스토퍼 뉴섬 주지사의 서명을 남겨둔 상태다. 서명 기한은 다음달 12일까지다.
법안 핵심은 AI 챗봇 운영자에게 안전 프로토콜 마련을 의무화해 AI 컴패니언이 극단적 선택이나 자해, 성적인 대화 참여 등을 막는 데 있다.
EU 집행위원회는 그록이 'EU 디지털 서비스법'(DSA) 위반 여부와 관련 조사 착수를 검토 중이다.
업계 관계자는 "AI 컴패니언 시장이 주로 청소년의 정서적 갈증·충동을 겨냥해 빠르게 성장하고 있다"며 "부작용이 커지기 전에 실효성 있는 적정 규제가 필요하다"고 말했다.
ideaed@news1.kr
