(서울=뉴스1) 김민석 기자 = 인공지능(AI) 추론 효율화 기업 노타(Nota AI)가 초거대 AI 모델을 적은 자원으로 실행하는 최적화 기술 적용을 확대하고 있다. AI 모델 구동에 필요한 그래픽처리장치(GPU) 수량을 줄이는 데 이어 상대적으로 저렴한 GPU에서도 실행할 수 있도록 했다.
12일 업계에 따르면 노타는 이달 9일 업스테이지 '솔라 오픈 2', 10일 중국 문샷AI '키미 K3.1 프로'의 최적화 성과를 잇달아 발표했다. 두 사례는 모델 실행에 필요한 메모리 부담을 줄였다는 공통점이 있지만 최적화 접근 방식은 다르다.
노타의 AI 최적화는 모델을 실행하는 데 필요한 그래픽처리장치(GPU)의 수량을 줄이거나, 상대적으로 저렴한 GPU에서도 모델을 구동하도록 하는 방식이다.
핵심 기술은 모델 내부의 전문가 모듈을 선별적으로 제거하는 '프루닝'이다. 솔라 오픈 2에는 수치 표현의 정밀도를 낮춰 메모리 사용량을 줄이는 '양자화'도 적용했다.
업스테이지 '솔라 오픈 2'는 필요한 GPU 수량을 줄인 사례다. 기존에는 엔비디아 H100 GPU 8장을 함께 사용해야 모델을 실행할 수 있었지만, 최적화 이후에는 같은 H100 2장으로도 구동할 수 있게 됐다.
중국 문샷AI의 '키미 K3.1 프로'에는 필요한 GPU 사양을 낮추는 방식을 적용했다. 매개변수 2조 8000억 개 규모의 이 거대모델은 기존에 엔비디아 B300 GPU 8장이 필요했다. 노타는 모델을 가볍게 만들어 B300보다 상대적으로 저렴한 B200 GPU 8장에서도 실행할 수 있도록 했다.
이를 통해 B200을 보유한 기업은 B300을 새로 구매하지 않고 기존 장비를 활용할 수 있게 됐다.
노타의 자체 견적 기준 B300 대신 B200을 활용하면 초기 GPU 구매비용은 최대 약 20%, 클라우드에서 GPU를 빌려 쓰는 임대료는 최대 약 22% 절감할 수 있다는 설명이다
노타는 키미 K3.1 프로 내부에서 역할을 나눠 맡는 '전문가 모듈'을 최대 약 37% 줄여 모델을 가볍게 만들었다. 그러면서도 어려운 과학 문제를 풀고 추론하는 능력을 평가하는 'GPQA 다이아몬드'에서 원본 모델 점수의 99% 이상을 유지했다. 모델의 일부를 덜어내면서도 해당 평가에서는 원본과 비슷한 수준의 성능을 발휘했다는 설명이다.
모델을 가볍게 만들어 확보한 여유 메모리는 더 긴 내용을 한 번에 읽고 처리하는 데 활용했다. 전문가 모듈을 약 37% 줄인 모델은 B200 GPU 8장에서 최대 100만 토큰의 문맥을 처리하도록 구성했다.
회사는 답변 생성 속도를 높이기 위한 '추측 디코딩'도 지원한다. 작은 보조 AI가 답변 후보를 먼저 만들면 주 AI가 이를 확인하는 방식이다. 주 AI가 답변을 처음부터 하나씩 만드는 대신 보조 AI가 제안한 내용을 한 번에 검토해 답변 생성 속도를 높일 수 있도록 했다.
채명수 노타 대표는 "AI 산업의 경쟁력은 더 많은 고성능 GPU를 확보하는 것뿐 아니라 이미 보유한 컴퓨팅 자원에서 얼마나 높은 성능과 효율을 구현하느냐에 달려 있다"며 "기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다"고 말했다.
ideaed@news1.kr
