"AI 통제력 상실, 원전 사고보다 피해 커"…오픈AI 안전 담당 사임

(서울=뉴스1) 이민주 기자 = 오픈AI의 인공지능(AI) 안전 보고서 작성을 이끌어온 핵심 인사가 회사를 떠나며 최첨단 AI를 먼저 배포한 뒤 문제를 보완하는 개발 방식이 위험하다고 경고했다.

그는 AI가 갈수록 강력해지는 만큼 사후 보완만으로는 위험을 감당하기 어렵다며 통제력을 상실할 경우 단일 원전 사고보다 훨씬 큰 피해가 발생할 수 있다고 했다.

5일 업계에 따르면 데이비드 로빈슨은 최근 미국 시사월간지 디애틀랜틱에 기고문을 통해 퇴사 사실과 배경을 밝혔다.

로빈슨은 "오픈AI는 시행착오(반복적 배포)를 통해 문제를 찾아내고 그에 대응해 안전장치를 개선해 왔다"며 "하지만 이런 접근 방식은 본질적으로 주기적인 실패를 수반하며 시스템의 기능이 향상됨에 따라 이러한 실패의 규모도 커지고 있다"고 말했다.

반복적 배포는 AI 모델을 출시한 뒤 실제 이용 과정에서 발견되는 오류와 이용자 피드백을 바탕으로 모델을 개선하는 방식을 말한다.

그는 "처음부터 완벽에 훨씬 가까운 결과를 내는 것이 필수적"이라며 "실수 후에는 수정이 불가능할 수도 있다. 사후에 개인의 영웅적인 행동에 의존한다면 인류는 안전하지 않을 것"이라고 지적했다.

로빈슨은 "회사(오픈AI)가 끊임없이 새로운 제품을 출시하는 과정에서 제가 필요하다고 생각하는 수준의 주의를 기울이지 못하고 있다"며 "이제 외부에서 활동하며 제가 목격한 위험을 더 많은 사람들이 이해하고 오픈AI를 비롯한 다른 기업들이 더 안전한 개발 환경을 구축하도록 동기를 부여하는 데 기여하고자 한다"고 했다.

그러면서 그는 두 가지 변화가 시급하다고 강조했다.

로빈슨은 "AI기업들은 안전 전문 지식을 더 많이 활용해야 한다"며 "또 훨씬 뛰어난 시스템을 개발하기 전에 우리가 보고 있지 않을 때도 그 모델이 안전한 선택을 할 수 있도록 보장하는 새로운 과학적 연구가 필요하다"고 강조했다.

그는 "(AI가) 통제력을 완전히 상실했을 때의 피해는 단일 원자로 용융 사고보다 훨씬 클 것"이라며 "완전한 통제력 상실이 아니더라도 인간의 허가 없이 작동하는 자율적인 AI 에이전트 무리가 등장할 수 있다"고 경고했다.

한편 로빈슨은 약 3년 반 동안 오픈AI에서 근무하며 고성능 AI가 초래할 수 있는 위험을 평가·관리하는 '준비성 프레임워크'(Preparedness Framework) 작성에 참여했다. 프런티어 AI 모델 12개의 출시 과정에서 안전 보고서 작성도 감독했다.

minju@news1.kr