(서울=뉴스1) 김민석 기자 = 중국의 인공지능(AI) 스타트업 문샷AI(Moonshot AI)가 사상 최대 규모 매개변수를 가진 오픈소스 대형언어모델(LLM) '키미 K2'(Kimi K2)를 공개했다.
14일 IT 업계와 외신에 따르면 11일 공개된 키미 K2는 중국의 '키미' 모델을 기반으로 1조 개 매개변수·전문가 혼합(MoE) 구조를 채택해 훈련한 모델이다.
문샷AI는 연구자·개발자를 위한 기본 모델인 '키미 K2-베이스'와 대화형·에이전트 작업에 최적화한 '키미 K2-인스트럭트' 등 2가지로 모델을 선보였다.
문샷AI는 가격 경쟁력을 앞세워 API 형태로도 해당 모델을 제공한다. 요금은 입력 토큰 100만 개당 0.15달러, 출력 토큰 100만 개당 2.50달러로 오픈AI·앤트로픽 모델보다 낮다.
문샷AI는 "키미K2 모델은 실제로는 320억 개 매개변수를 활성화하는 효율적인 설계를 구현했다"며 "단순 대화형 AI를 넘어 에이전트 기능에 특화해 복잡한 단계의 작업을 인간의 개입 없이 자율적으로 수행할 수 있다"고 말했다.
주목할 만한 기술적 혁신으로는 문샷AI가 자체 개발한 'MuonClip' 최적화가 꼽힌다. 이 기술은 쿼리와 키 프로젝션의 가중치 행렬을 재스케일링하는 방식으로 계산 안정성을 높였다.
문샷AI는 "MuonClip은 기존 AdamW 방식 대비 효율성을 크게 높이면서도 GPU 리소스를 더 효율적으로 활용할 수 있게 해준다"며 "1조 개 매개변수 모델을 15.5조 토큰으로 훈련하면서도 훈련 불안정성을 제거했다"고 설명했다.
이어 "여러 핵심 벤치마크에서 기존 최고 성능 모델들을 뛰어넘는 결과를 보여줬다"며 "소프트웨어 엔지니어링 벤치마크인 'SWE-벤치 베리파이드'에서 65.8%의 정확도를 기록해 GPT-4.1의 54.6%를 크게 앞섰고 실전 코딩 벤치마크인 '라이브코드벤치'에서는 53.7%를 달성해 딥시크-V3의 46.9%와 GPT-4.1의 44.7%를 넘어섰다"고 언급했다.
ideaed@news1.kr
