앤트로픽 "클로드, 새 모델 R&D 26% 주도"…AI 자기개선 가시화

(서울=뉴스1) 권영미 기자 = 미국 인공지능(AI) 기업 앤트로픽이 자사 AI 모델 '클로드'가 차세대 모델을 구축하는 작업에 직접 참여해 4분의 1 이상을 주도하고 있다고 밝혔다. 불과 몇 달 전만 해도 0%였던 수치가 급격히 늘어난 것으로, 인간의 직접적인 개입 없이 AI가 스스로 발전하는 단계에 가까워지고 있다는 우려가 근거 있음을 보여줬다.

워싱턴포스트(WP)에 따르면 앤트로픽은 17일(현지시간) 블로그 게시물을 통해 클로드가 신형 AI 모델 연구개발(R&D) 업무의 약 26%를 '주도'했으며, 인간은 감독과 방향 제시만 했다고 설명했다. 올해 2월까지만 해도 이 수치는 0%였다.

클로드가 재귀적 자기 개선의 어떤 단계에 있는지는 밝히지 않았다. 재귀적 자기 개선은 AI가 인간의 도움 없이 스스로 성능을 개선하는 것을 말한다. 다만 현재 시점에서 클로드가 인간의 개입 없이 '완전 자율적으로' 작동하는 경우는 없다고 설명했다.

앤트로픽은 외부 AI 기업이 개발한 평가 시스템을 활용해 클로드의 R&D 업무 수행 능력을 측정했으며, 이후 인간이 그 결과를 검토했다고 설명했다.

앤트로픽 측은 "모델이 스스로 개발 속도를 높이면 인간이 이해하거나 통제하기 어려워질 수 있다"며 "따라서 전 세계가 재귀적 자기 개선 단계에 얼마나 가까워졌는지 파악하기 위해 이러한 지표를 공유하는 것이 중요하다"고 밝혔다.

현재 앤트로픽은 약 3만 개의 AI 에이전트를 연구와 엔지니어링에 투입하고 있으며, R&D 컴퓨팅 자원의 6%를 안전성 연구에 배정하고 있다.

최근 업계와 미 정가에서는 AI가 인간의 통제를 벗어날 위험에 대한 논의가 이어지고 있다. 앤트로픽 개발자 제이컵 콕슨은 지난주 AI 개발 회사들이 "우리의 삶을 걸고 도박하고 있다"며 사직했고, 버니 샌더스 상원의원과 스티브 배넌 전 트럼프 고문도 워싱턴 행사에서 AI 위험성을 함께 논의했다.

다리오 아모데이 앤트로픽 CEO도 최근 AI 기업들이 속도를 늦추고 안전장치를 마련할 시간을 가져야 한다고 제안했으며, 오픈AI 등 일부 경쟁사들이 동의했지만 도널드 트럼프 대통령은 이런 AI 위협론을 '사기'라고 비판했다.

안팎에서 AI에 대한 우려가 제기되자 오픈AI는 내부 에이전트가 테스트 과정에서 규칙을 어기거나 임의로 행동한 사례를 추가로 공개하며, 이런 사건을 보고하는 새로운 체계를 발표했다. 앤트로픽도 자율적 모니터링 시스템을 운영해 의심스러운 활동을 인간 검토로 넘기고 있다고 밝혔다.

kym@news1.kr