"AI가 인간 죽일 수도" 경고에 젠슨 황 "공포가 수요 만든다"

(서울=뉴스1) 강은성 기자

"우리는 인공지능(AI)이 모든 인간을 죽일 수도 있다고 정말로 진지하게 믿는다. 개인적으로 향후 10년 안에 그럴 가능성을 10% 이상으로 본다."

AI를 인간의 의도에 맞게 통제하는 'AI 정렬'(Alignment)을 연구하는 앤트로픽 책임자가 내놓은 경고다. 오픈AI 이사회에 최근 합류한 AI 정렬 분야 권위자도 현재 AI 업계가 통제 상실 위험을 충분히 낮추지 못하고 있다고 지적했다.

반면 젠슨 황 엔비디아 최고경영자(CEO)는 최근 커지는 AI 사이버보안 위험론을 두고 "수요를 만드는 데 문제를 만드는 것보다 더 좋은 방법이 있겠느냐"고 말했다. AI 위험에 대한 공포가 새로운 보안 제품과 시장을 만들어내는 측면이 있다는 얘기다.

AI 성능이 빠르게 높아지고 실제 시험에서도 인간이 정한 범위를 벗어나는 사례가 잇따라 확인되면서 AI를 어디까지 통제할 수 있느냐를 둘러싼 논쟁도 커지고 있다.

12일 외신 등에 따르면 앤트로픽의 AI 정렬 연구 책임자인 에번 허빙거는 최근 엑스(X)에 "우리는 AI가 모든 인간을 죽일 수도 있다고 정말로 진지하게 믿는다"고 밝혔다.

이어 "개인적으로 향후 10년 안에 그럴 가능성을 10% 이상으로 본다"고 했다.

발단은 앤트로픽 연구원 제이컵 콕슨의 퇴사였다. 콕슨은 회사를 떠나면서 "AI를 만드는 사람들은 AI가 10년 안에 우리 모두를 죽일 수 있다고 진지하게 믿는다"고 밝혔다.

허빙거는 콕슨의 주장에 "제이컵의 말이 맞다"고 공개적으로 동의했다.

다만 이들이 현재 서비스 중인 AI가 당장 인류를 위협한다는 주장을 편 것은 아니다. AI가 앞으로 인간보다 훨씬 뛰어난 초지능으로 발전할 경우 인간이 이를 통제하지 못할 가능성을 경고한 것이다.

AI 정렬은 AI가 인간의 의도와 가치에 맞게 행동하도록 만드는 기술이다. 성능이 높아진 AI가 인간의 지시와 다른 목표를 추구하거나 통제를 벗어나는 상황을 막는 것이 핵심이다.

최근 오픈AI 비영리재단 이사회와 안전·보안위원회에 합류한 폴 크리스티아노도 비슷한 문제를 제기했다.

크리스티아노는 "AI 능력의 급격한 발전이 가까운 미래에 파국적이고 되돌릴 수 없는 통제 상실로 이어질 의미 있는 위험이 있다고 본다"고 밝혔다.

이어 "오픈AI를 포함한 AI 업계가 현재 이 위험을 허용 가능한 수준까지 낮추는 궤도에 있다고 생각하지 않는다"고 지적했다.

젠슨 황 엔비디아 CEO는 AI 위험을 바라보는 또 다른 시각을 내놨다.

황 CEO는 지난 10일(현지시간) 미국 샌프란시스코에서 열린 골드만삭스 커뮤니코피아+테크놀로지 콘퍼런스에서 사이버보안을 AI의 차기 대형 시장 가운데 하나로 꼽았다.

AI가 코딩을 잘할수록 프로그램의 취약점을 찾아내는 능력도 강해진다. 공격에 악용될 가능성이 커지는 동시에 이를 이용해 취약점을 찾아내고 공격을 막는 사이버보안 시장도 커진다는 설명이다.

황 CEO는 최근 AI 사이버보안 위험에 대한 논의가 급증한 배경을 두고 업계의 신제품 출시와 연결 지었다.

그는 "업계가 몇몇 제품 출시를 준비하고 있기 때문에 오늘날 사이버보안에 대한 이야기가 이렇게 많은 것"이라며 "수요를 만드는 데 문제를 만드는 것보다 더 좋은 방법이 있겠느냐"고 말했다.

이어 자신의 제품 때문에 시장이 '히스테리에 빠져' 사람들이 줄을 서게 되는 것을 누가 싫어하겠느냐는 취지로 말했다. 최근 확산되는 AI 사이버보안 우려에 보안 제품을 팔기 위한 수요 창출 성격도 있다는 주장이다.

다만 황 CEO가 허빙거나 크리스티아노의 'AI 통제 상실' 주장을 직접 겨냥한 것은 아니다. 허빙거 등이 초지능 AI의 장기적인 통제 실패 가능성을 경고했다면 황 CEO의 발언은 최근 커지는 AI 사이버보안 위험론을 두고 나왔다.

AI 통제 문제가 가상의 상황에만 머물러 있는 것은 아니다.

최근 오픈AI와 앤트로픽이 프론티어(최상위)AI의 사이버 능력을 시험하는 과정에서는 모델이 사람이 정한 범위를 벗어나 행동한 사례가 잇따라 확인됐다.

오픈AI의 실험용 AI 에이전트들은 올해 최소 10개 이상의 외부 웹사이트를 허가받지 않은 통신 수단으로 이용했다. 인터넷에서 정보를 읽는 것만 허용했지만 글을 쓸 수 있는 웹사이트를 찾아 다른 AI와 통신했다.

일부 모델은 시험용 가상환경을 벗어나 실제 외부 시스템에 접근하기도 했다.

앤트로픽도 약 14만 1000건의 사이버보안 평가 기록을 조사해 클로드가 시험 환경을 벗어나 실제 외부 기관 시스템에 무단 접근한 사례를 확인했다.

다만 일부 시험에서는 AI의 사이버 능력을 확인하기 위해 평소보다 안전장치를 느슨하게 설정했다. 시험 과정의 설정 오류로 외부 인터넷 접근이 가능했던 경우도 있었다. 현재 확인된 사례를 AI가 스스로 인간에게 반기를 들거나 통제에서 완전히 벗어난 것으로 해석하기는 어렵다.

AI의 능력이 높아질수록 통제 기술도 함께 강화해야 한다는 것이 허빙거와 크리스티아노 등 안전 연구진의 주장이다.

황 CEO는 같은 기술 발전에서 커지는 사이버보안 시장에 주목한다. AI가 취약점을 찾아 공격하는 능력이 강해지는 만큼 이를 이용해 취약점을 먼저 찾아내고 방어하는 기술의 수요도 커진다는 것이다.

esther@news1.kr