(서울=뉴스1) 신민경 기자 = 인공지능(AI) 모델의 성능 향상을 이끌어온 고품질 학습 데이터가 빠르게 소진되면서 AI 개발 경쟁의 양상이 달라질 것이라는 전망이 나온다.
그동안 AI 기업들은 인터넷에 공개된 대규모 데이터를 학습시키는 방식으로 모델 성능을 높여왔다. 그러나 고품질 공개 데이터의 양이 한정된 데다 웹사이트의 AI 크롤링 제한과 콘텐츠 유료화까지 확산하면서 앞으로는 데이터의 양보다 고품질 데이터를 확보하고 효율적으로 활용하는 역량이 중요해질 것으로 예상된다.
7일 SK텔레콤(017670)에 따르면 김우영 SK텔레콤 AI정책연구원은 이날 '데이터 벽(Data Wall)이 바꾸는 AI 시대 경쟁의 법칙' 기고문을 통해 AI 학습 데이터가 직면한 제약과 이에 따른 기업의 대응 전략을 제시했다.
'데이터 벽'은 AI 학습에 활용할 수 있는 고품질 공개 데이터가 부족해지면서 대규모 데이터 투입을 통한 기존의 AI 성능 향상 방식이 한계에 부딪히는 현상을 뜻한다.
SK텔레콤은 현재 AI 학습 데이터가 직면한 문제를 '물량·접근·품질'이라는 세 가지 벽으로 구분했다.
우선 AI가 학습할 수 있는 고품질 공개 데이터 자체가 한정돼 있다는 점을 제시했다. 미국 AI 연구기관 에포크AI(Epoch AI)는 인간이 작성한 고품질 공개 텍스트 데이터의 총량을 약 300조 토큰으로 추정한다. 현재의 AI 확장 추세가 이어질 경우 이 같은 데이터 재고가 2026~2032년 사이 소진될 가능성이 있다는 전망이다. 구체적인 시점은 학습 방식과 데이터 활용 효율 등에 따라 달라질 수 있다.
다음으로는 데이터에 대한 접근의 벽이다. 인터넷에 데이터가 존재하더라도 AI 기업이 이를 자유롭게 학습에 활용할 수 있는 것은 아니다. 웹사이트와 인프라 사업자들이 AI 학습용 크롤러의 접근을 제한하거나 데이터 이용에 대한 과금 체계를 마련하면서 AI 기업의 데이터 확보 환경도 달라지고 있다.
클라우드플레어는 오는 15일부터 광고가 게재된 페이지에서 AI 학습·에이전트용 크롤러를 기본 차단하고 검색과 학습을 함께 수행하는 겸용 크롤러에 대한 관리도 강화한다.
실제로 AI 기업들은 고품질 콘텐츠를 안정적으로 확보하기 위해 데이터 보유 기업과 손잡고 있다. 오픈AI는 독일 미디어그룹 악셀 슈프링어와 뉴스코프 등과 계약을 맺어 콘텐츠 이용·접근 권한을 확보했다. 레딧 역시 실시간 데이터 응용프로그램인터페이스(API)를 제공하는 방식으로 AI 기업에 데이터 접근 경로를 제공하고 있다.
데이터가 과거처럼 한 번 확보해 사용하는 자산에서 지속적으로 접근 권한을 확보하고 비용을 지불해 이용하는 자산으로 변화하고 있는 셈이다.
마지막으로 품질의 벽이다. 공개 데이터가 부족하다고 해서 AI가 생성한 합성 데이터로 무한정 대체하기도 어렵다.
김 연구원은 기고문을 통해 AI가 생성한 데이터로 후속 모델을 반복 학습할 경우 세대를 거치며 희귀 사례와 예외적 패턴이 사라지고 성능이 저하되는 '모델 붕괴'(Model Collapse) 가능성을 지적했다.
다만 수학이나 코딩처럼 생성된 결과의 정답 여부를 검증하기 쉬운 영역에서는 합성 데이터를 적극적으로 활용할 수 있다. 결국 모든 영역에서 합성 데이터를 인간 작성 데이터의 대체재로 사용하기보다 데이터의 특성에 따라 선별적으로 활용해야 한다는 설명이다.
SK텔레콤은 이 같은 데이터 환경 변화에 모델·데이터·인프라 등 세 가지 축으로 대응한다는 전략이다. 자체 AI 모델을 개발하는 동시에 통신·AI 서비스를 통해 데이터를 보유하고 있고, AI 데이터센터 등 연산 인프라 사업도 추진하고 있다는 점을 활용한다.
우선 모델 개발자로서는 고품질 한국어 데이터 확보와 정제에 집중한다.
공개 웹에서 한국어 텍스트가 차지하는 비중이 영어보다 상대적으로 작은 만큼 전체 데이터 규모와 별개로 한국어에 특화된 고품질 데이터를 확보하는 것이 자체 AI 모델 에이닷엑스(A.X에이닷엑스)의 경쟁력과 직결된다는 판단이다.
SK텔레콤은 고품질 한국어 데이터를 발굴·정제하고 학습 효율을 높여 국내 언어와 산업 환경에 최적화된 소버린 AI 경쟁력을 강화한다는 구상이다.
데이터 보유자로서는 단순한 데이터의 양보다 실제 활용 가능성에 초점을 맞춘다.
SK텔레콤은 통신과 AI 서비스를 운영하며 다양한 데이터를 축적하고 있지만 고객 데이터를 활용하기 위해서는 개인정보 보호와 비식별화, 이용 목적과 권리관계 등에 대한 엄격한 기준이 전제돼야 한다.
이에 따라 데이터를 얼마나 많이 가지고 있느냐보다 보유 데이터를 안전하고 책임 있게 활용 가능한 자산으로 전환할 수 있느냐가 중요하다는 판단이다.
마지막은 인프라다. AI 성능을 높이는 방식이 대규모 데이터를 투입하는 사전학습에서 사후학습과 추론 단계의 연산을 강화하는 방향으로 다변화되면서 이를 뒷받침할 컴퓨팅 인프라의 중요성도 커지고 있다.
SK텔레콤은 오는 2029년까지 5GW(기가와트) 규모를 목표로 AI 데이터센터(AIDC) 투자를 추진하고 GPUaaS(GPU as a Service) 사업도 확대하고 있다.
김 연구원은 "데이터 벽 이후 AI 경쟁은 더 많은 데이터를 확보하는 경쟁에서 보유한 데이터를 실제로 활용할 수 있게 만드는 경쟁으로 이동할 것"이라며 "모델 개발과 데이터 활용 역량은 물론 이를 뒷받침하는 AI 인프라 역시 중요한 경쟁 요소이자 새로운 사업 기회가 될 것"이라고 말했다.
smk5031@news1.kr
