네이버, AI 모델서 중국산 뺀다…'자체 비전 인코더' 전면 적용

(서울=뉴스1) 신은빈 기자 = 네이버(035420)가 '독자 인공지능(AI) 파운데이션 모델'(독파모) 프로젝트 참가 당시 자사 AI 모델에 탑재해 논란을 샀던 중국 비전 인코더를 완전히 들어낸다. 앞으로 네이버의 AI 모델에는 자체 개발한 비전 인코더를 전면 적용할 예정이다.

네이버는 이번 자체 인코더 개발을 통해 앞서 제기된 프롬 스크래치(독자성) 논란을 해소하고, 한국어·한국 문화를 잘 아는 AI 모델을 키워 '소버린 AI' 전략에 힘을 실을 것으로 보인다.

17일 정보기술(IT) 업계에 따르면 네이버클라우드는 지난달 초 자체 비전 인코더 개발을 마쳤다. 네이버에서 향후 개발하는 멀티모달 모델 전반에 이를 적용하기 위해 현재 내재화 작업을 진행 중이다.

비전 인코더는 이미지·영상을 AI가 이해할 수 있는 형태로 변환하는 모듈이다. 텍스트·이미지·음성·영상을 종합적으로 다루는 멀티모달 모델의 시각 지능에 해당하는 기능을 수행한다.

네이버클라우드가 새로 개발한 비전 인코더는 기존 자체 인코더 기술인 'VUClip'보다 큰 폭으로 개선된 성능을 보인다. 현재 오픈소스 생태계에서 활용성이 입증된 중국의 '큐웬' 등 글로벌 모델 인코더와 비슷한 수준의 성능을 보유한 것으로 알려졌다.

네이버클라우드는 올해 초 정부가 주도한 독파모 프로젝트에 참여할 당시 자사 옴니모달 모델 '하이퍼클로바X 시드 32B 싱크'에 중국 알리바바가 개발한 '큐웬(Qwen) 2.5' 모델의 비전 인코더를 미세 조정(파인튜닝)하고, 오디오 인코더와 가중치를 거의 그대로 차용하며 논란을 샀다.

모델 학습 초기 단계부터 모두 자체 기술로 구축하는 프롬 스크래치 원칙을 강조했던 독파모 프로젝트의 취지에 어긋난다는 비판을 사면서다.

다만 이미 오픈소스로 배포된 '하이퍼클로바X 시드 32B 싱크'의 인코더를 이번에 선보인 자체 인코더로 교체할지는 정해지지 않았다.

네이버클라우드의 새로운 비전 인코더는 AI를 학습 단계부터 한국어로 훈련시켜 별도 번역 과정 없이 이미지와 한국어를 직접 연결할 수 있다. 한국의 문화와 맥락을 잘 파악해 정보 왜곡을 최소화했다.

네이버클라우드 관계자는 "한국의 지리나 문화, 고유명사가 포함된 시각 데이터를 다룰 때 외산 모델과는 차원이 다른 독보적인 정확도를 보여줄 계획"이라고 설명했다.

bean@news1.kr