'해킹법 알려줘' 명령 거부한 中 AI…작업 형태에선 중단 없어

(서울=뉴스1) 김민수 기자 = 중국의 최신 인공지능(AI) 모델이 "해킹을 도와달라"는 노골적인 요청은 대부분 거부했다. 하지만 결함이 있는 프로그램을 분석해 공격 수단을 만들도록 '작업지시'를 내리자 작업 수행은 그대로 진행했다.

말(프롬프트 명령)로 드러난 악의는 걸러냈지만, 실제 작업 형태로 주어진 요청에는 제동이 걸리지 않은 셈이다.

21일 미국 국립표준기술연구소(NIST) 산하 AI표준혁신센터(CAISI)가 최근 공개한 보고서에 따르면 중국 AI 기업 지푸AI(Z.ai)의 'GLM-5.2'는 출시 당시 공개된 오픈웨이트 모델 가운데 성능이 가장 뛰어난 것으로 평가됐다.

지푸AI는 지난 7월 16일 GLM-5.2를 공개했다. 오픈웨이트는 AI가 학습한 결과를 담은 '가중치'를 공개해 이용자가 모델을 내려받아 자체 서버에서 운영할 수 있도록 한 방식이다.

CAISI가 수학과 과학, 소프트웨어 개발 등 여러 시험 결과를 종합한 결과 GLM-5.2의 전반적인 성능은 오픈AI가 지난해 12월 내놓은 'GPT-5.2'와 비슷했다. 사이버 분야에서는 앤트로픽이 올해 2월 공개한 '오퍼스 4.6'과 유사한 수준을 보였다.

다만 미국의 최신 최상위 AI 모델 성능에는 미치지 못했다. 프로그램의 취약점을 찾아 공격 수단을 만드는 능력을 평가한 '익스플로잇벤치'에서 GLM-5.2는 세부 평가 항목의 21.4%를 달성했다. 앤트로픽의 '오퍼스 4.8'은 38.1%, 오픈AI의 'GPT-5.5'는 40.7%였다.

차이는 요청을 제시하는 방식에서 뚜렷하게 나타났다.

CAISI가 공격 구상과 공격코드 제작, 보안체계 회피 등 악의적인 목적을 분명히 밝힌 질문 30개를 입력하자 GLM-5.2는 대부분 답변을 거부했다. 요청대로 완전히 답한 비율은 2%에 불과했다. 안전장치를 우회하는 이른바 '탈옥'(jailbreak) 문구를 붙여도 8%에 그쳤다.

반면 결함이 있는 프로그램과 이를 고친 버전을 나란히 보여주고, 두 프로그램의 차이를 분석해 공격에 쓸 코드를 만들도록 하자 결과가 달라졌다.

GLM-5.2는 10개 과제 모두에서 작업을 거부하지 않았다. 과제당 최대 300개의 응답을 내놓는 동안 작업을 멈추거나 추가 도구 사용을 막은 사례도 없었다.

이 결과가 GLM-5.2가 10개 공격에 모두 성공했다는 뜻은 아니다. 실제 공격 수단을 만드는 능력은 미국 최신 모델보다 낮았다. CAISI가 이 시험에서 살핀 것은 공격 성공 여부가 아니라, 모델이 도중에 위험성을 감지하고 작업을 멈추는지였다. GLM-5.2는 끝까지 제동을 걸지 않았다.

같은 시험에서 오퍼스 4.6과 GPT-5.5도 최대 300턴 동안 작업을 완전히 차단하지 않았다. 반면 오퍼스 4.7과 오퍼스 4.8은 각각 평균 12개와 36개의 응답을 내놓은 뒤 추가 작업을 막거나 거부했다.

다만 다른 시험에서는 비교적 잘 버텼다. 이메일이나 문서에 공격자가 몰래 심어둔 명령을 읽게 했지만, GLM-5.2가 그 지시대로 움직인 사례는 없었다.

이번 시험은 지푸AI의 온라인 서비스를 대상으로 한 것이 아니다. CAISI가 GLM-5.2를 직접 내려받아 자체 서버에 설치한 뒤 평가했다.

미국 모델은 일반 서비스에 붙어 있는 별도 차단 기능까지 켠 상태로 시험했다. 반면 GLM-5.2는 모델에 기본으로 들어 있는 거부 기능만 유지했다. 따라서 실제 온라인 서비스에서는 다른 결과가 나올 수 있다.

오픈웨이트 모델은 이용자가 직접 내려받아 수정할 수 있다. 위험한 요청을 막는 기능도 약화하거나 없앨 수 있다는 뜻이다. 이 때문에 AI가 어떤 답을 내놓는지만 볼 게 아니라, 프로그램을 맡겼을 때 실제로 어디까지 작업하는지도 함께 살펴야 한다.

kxmxs4104@news1.kr