미토스, 전문가 2년 검증 거친 양자내성암호 흔들었다…60시간만

(서울=뉴스1) 나연준 기자 = 차세대 보안 기술로 꼽히는 양자내성암호(PQC) 후보 알고리즘에서 새로운 취약점이 발견됐다. 앤트로픽의 최상위 AI 모델 '클로드 미토스 프리뷰'가 아직 표준화되지 않은 차세대 암호 알고리즘을 분석해 새로운 공격 기법을 찾아낸 것이다. 이번 사례로 AI가 미래 암호체계 검증에도 활용될 수 있음을 보여줬다는 평가가 나온다.

28일(현지시간) 앤트로픽은 홈페이지를 통해 최근 연구에서 미토스 프리뷰가 PQC 전자서명 후보 알고리즘인 'HAWK'의 새로운 취약점을 발견했다고 밝혔다.

HAWK는 미국 국립표준기술연구소(NIST)가 양자컴퓨터 시대에 대비해 표준화를 추진 중인 차세대 전자서명 알고리즘 후보 가운데 하나다. 지난 2년간 전문가들의 검증을 거쳤지만, 미토스는 약 60시간 만에 HAWK의 보안 강도를 낮출 수 있는 새로운 암호분석 기법을 찾아냈다. 암호를 해독한 것은 아니지만 공격자가 실제로 탐색해야 하는 후보 공간을 크게 줄여 공격 난도를 낮출 수 있음을 보여준 것이다.

이번 연구는 암호학 전문가가 아닌 인간 관리자가 AI 에이전트들을 총괄하는 방식으로 진행됐다. 관리자는 프로젝트 관리와 목표 설정을 맡았고, 대부분의 연구는 미토스 기반 AI 에이전트들이 수행했다. AI 에이전트들은 관련 논문과 최신 암호분석 기법을 검토하고 서로의 결과를 토론·반박하는 과정을 반복하며 새로운 공격 방식을 도출했다.

미토스는 또 축소(round-reduced) 버전의 AES(고급암호화표준)를 대상으로 새로운 암호분석 기법도 제시했다. 연구 초기에는 AES가 약 20년간 연구돼 새로운 공격 방법을 찾기 어려울 것으로 판단했지만, 연구진이 지속적으로 새로운 접근법 탐색을 요구하자 다양한 분석을 이어간 끝에 새로운 기법을 도출했다.

결국 미토스는 '뫼비우스 브리지(Möbius Bridge)'라는 새로운 알고리즘을 제안했다. 기존에는 수백 개의 후보 값을 하나씩 비교해야 했다면, 이 알고리즘은 여러 후보를 동시에 식별할 수 있도록 해 불필요한 계산을 줄였다. 앤트로픽은 이를 통해 기존 최고 수준의 공격 기법보다 계산 효율을 200~800배 높였다고 설명했다.

다만 앤트로픽은 이번 연구가 현재 인터넷에서 사용되는 암호체계를 무력화했다는 의미는 아니라고 강조했다. 이번 결과는 AI가 수년간 전문가들의 검토에도 발견되지 않았던 암호 설계상의 약점을 찾아낼 수 있음을 보여준 사례로, 앞으로 차세대 암호체계의 설계와 검증 과정에서 AI 활용 가능성을 제시했다는 설명이다.

특히 AI가 양자컴퓨터 시대에 새로운 암호를 설계하는 데 그치지 않고, 표준화 이전 단계에서 암호 알고리즘의 취약점을 검증하는 핵심 도구로 활용될 가능성을 보여준 사례라는 평가도 나온다.

앤트로픽은 "AI를 활용한 암호 검토는 새로운 암호화 표준을 개발하는 데 강력한 도구가 될 것으로 믿는다"며 "우수한 AI 모델을 활용하는 암호 설계자들이 모든 사용자를 위해 더욱 안전한 인터넷 보안 표준을 만드는 데 기여할 것으로 기대한다"고 밝혔다.

한편 앤트로픽은 미국 정부와 관련 기관, 업계와 협의를 거친 뒤 이번 연구에서 발견한 구체적인 공격 기법을 공개할 계획이다.

yjra@news1.kr