"통제 불능 위험 막자"… AI 라이벌 3사, 개발 속도 조절 한목소리

(서울=뉴스1) 김지완 기자 = 다리오 아모데이 앤트로픽 최고경영자(CEO)와 일론 머스크 테슬라 CEO, 샘 올트먼 오픈AI CEO가 이례적으로 인공지능(AI) 기술 발전의 속도 조절에 대해 한목소리를 냈다.

뉴욕타임스(NYT), 월스트리트저널(WSJ) 등에 따르면 아모데이는 12일(현지시간) 블로그 게시물을 통해 오늘날의 최첨단 AI 도구가 초래하는 위험이 너무 커 더 이상 지금과 같은 맹렬한 속도로 개발을 계속할 수 없다고 밝혔다.

그는 지난 7월 AI 에이전트가 실험실 환경에서 탈출해 해킹을 벌인 사건을 언급하며, 더 뛰어난 능력을 갖추고 더 비정렬(misalignment·AI의 행동이나 목표가 인간의 의도·가치와 어긋나는 상태)된 군집이었다면 "재앙적인 피해를 초래했을 것"이라고 말했다.

이어 이러한 통제 불능의 군집이 6~12개월 이내에 인터넷을 장악할 수도 있다고 경고했다.

아모데이는 "개발 속도를 늦춰 (AI) 모델이 치명적인 수준의 능력에 도달하기 전까지 1~2년의 시간을 더 벌 수 있고, 그 시간을 정렬(AI alignment·AI의 행동이나 목표가 인간의 의도·가치와 부합하는 상태)을 발전시키는 데 활용한다면 심각한 문제가 발생할 위험을 크게 줄일 수 있다고 믿는다"고 적었다.

그는 또 인간의 개입 없이 스스로 개선할 수 있는 AI 시스템에 힘입어 올해 여름 이후 AI의 발전이 "우리가 이러한 시스템을 이해하고 통제할 수 있는 능력을 앞지를 수 있으므로, 개발을 진행하더라도 매우 신중하게 접근해야 한다"고 지적했다.

아모데이는 특히 AI의 '재귀적 자기 개선'(recursive self-improvement)으로 AI가 자체 능력과 지능을 더 빠르게 향상할 가능성과 지난 7월 오픈AI의 AI 에이전트가 AI 스타트업 허깅페이스를 해킹한 사건을 우려의 근거로 들었다.

재귀적 자기 개선은 AI 시스템이 인간의 개입 없이 스스로 성능을 높이고 후속 모델을 개발하는 과정을 뜻한다.

아모데이는 "방치할 경우 이러한 시스템을 이해하고 통제하는 우리의 능력을 뛰어넘을 수 있으므로, 설령 추진하더라도 매우 신중하게 진행해야 한다"고 강조했다.

그는 엑스(X)에 블로그 게시물을 공유하면서 앤트로픽이 제3자 평가자들에게 "우리 시스템에 대한 영구적이고 직원 수준의 접근 권한을 제공해 그들이 안전 조치 준수 여부를 확인하고, 사고를 보고하며, 훈련 중 모델의 정렬을 평가할 수 있도록 할 것"이라고 밝혔다.

이에 아모데이와 경쟁 관계인 머스크는 엑스 게시물을 통해 "다리오의 말이 옳다"고 밝혔다.

올트먼도 엑스를 통해 단계적 접근의 필요성에 대해 아모데이의 의견에 동의를 표시했다.

그는 "직원 수준의 접근 권한을 가진 독립적인 평가자들을 두겠다는 약속은 훌륭한 아이디어이며, 우리도 똑같이 할 것"이라며 조만간 더 자세한 내용을 공유하겠다고 전했다.

올트먼은 또 12일 공개된 포천과의 인터뷰에서 "사실 안전과 관련해 벌어지고 있는 모든 상황을 고려할 때, 지금이 상장하기에는 부적절한 시기라고 생각하며, 우리는 그 점에 대해 별다른 압박감을 느끼지 않는다"며 2026년에 오픈AI의 기업공개(IPO)가 이뤄지지 않을 것이라고 밝혔다.

블룸버그는 올트먼이 최근 전사 회의에서도 "오픈AI는 AI 개발 속도를 조절할 수 있고 다른 여러 AI 연구소와 함께 추진할 가능성도 있지만 일부는 이에 동의하지 않을 수도 있다"고 말했다고 보도한 바 있다.

최근 업계에서 AI의 위험성에 대한 지적이 잇따르는 가운데 AI로 인해 인류가 멸망할 수 있다는 주장도 나왔다. 앤트로픽 연구원 제이컵 콕슨은 8일 엑스에 "3년간 오픈AI와 앤트로픽에서 사전 학습 연구를 진행했지만 두 회사 모두 책임감 있는 모습을 보이지 않고 있다"며 "스스로 발전하는 초지능을 향해 질주하며 우리의 생명을 위험에 빠뜨리고 있다"고 비판했다.

앤트로픽 수석 과학자 에번 휴빙거는 콕슨의 사임 발표 후 엑스에 "AI가 인류를 절멸시킬 확률이 향후 10년간 10%가 넘는다"고 경고했다.

다만 이 같은 AI 속도 조절이 순수한 안전 우려 때문이라는 의견만 있는 것은 아니다. 실리콘밸리 일각에서는 앤트로픽과 오픈AI가 공포심을 부추겨 규제 강화를 유도하고, 이를 통해 진입 장벽을 높여 소규모 경쟁자들을 몰아내려 한다는 의견도 있다고 NYT는 전했다.

젠슨 황 엔비디아 CEO도 "문제를 만드는 것보다 수요를 창출하기 좋은 방법이 어디 있겠냐"며 AI 연구소들이 새로운 사이버 보안 제품을 출시하기 위해 보안 우려를 부풀리고 있다고 주장했다.

gwkim@news1.kr