펜싱 국대 'AI 코치' 비개발자가 혼자 만들었다…롤에서 영감

(서울=뉴스1) 이민주 기자 = 방금 플레이한 게임의 리플레이를 누르자 화면 아래로 타임스탬프가 뜬다. 타임라인 위에 빨간색으로 표시된 지점을 누르면 주요 전투 장면이 곧바로 재생된다.

게임 이용자나 e스포츠 팬에게는 익숙한 리플레이 기능이지만 일반 스포츠라면 이야기가 달라진다.

상대 선수의 전력과 심판의 판정 경향까지 면밀히 살펴야 하는 펜싱 역시 경기 분석의 상당 부분을 사람에게 의존해왔다. 경기가 끝나면 전력 분석관이 전체 영상을 직접 돌려보며 득·실점 구간을 하나씩 찾아야 했다.

"게임에서처럼 AI가 중요한 장면을 알아서 찾아준다면 선수들의 경기 분석을 도울 수 있지 않을까."

SK텔레콤(017670)의 펜싱 인공지능(AI) 전력분석 시스템 'SKT-FAN'(Fencing AI Nexus)은 1년여간 펜싱 국가대표팀 지원 업무를 맡아온 최종혁 SK텔레콤 스포츠마케팅팀 매니저의 이런 고민에서 출발했다.

펜싱팀을 맡기 전 그는 '페이커' 이상혁이 속한 T1 선수단을 담당하며 e스포츠 현장을 경험했다. 게임 '리그오브레전드'(LoL)의 경기 리플레이 기능에서 SKT-FAN의 아이디어를 얻었다.

최 매니저는 "펜싱은 워낙 빠르게 움직이는 경기인 데다 선수마다 움직임이 다르고 심판마다 판정에도 미세한 차이가 있다"며 "선수단도 경기가 끝나면 영상을 보면서 지난 경기에서 어떻게 했는지, 어떤 부분이 부족했는지 비디오 리뷰를 하는 만큼 영상 분석에 대한 필요가 컸다"고 말했다.

펜싱 선수들과 코칭스태프를 만날 때마다 반복해서 나온 요구도 '영상 분석'이었다. 선수들은 수많은 경기 영상을 되짚으며 상대의 움직임과 자신의 경기 내용을 분석해야 하지만 필요한 장면을 찾고 정리하는 데 적지 않은 시간이 들었다.

최 매니저의 초반 구상은 'AI가 득점 장면을 찾아 하이라이트로 만들어주는 앱' 정도였다.

처음부터 직접 개발할 생각은 아니었다. 외주 업체에 문의했지만 서버 비용만 30억 원이 든다는 견적을 받았다. 비용뿐 아니라 개발 기간도 문제였다. 외주 방식으로는 2026년 아시안게임에 맞추기 어렵다고 판단했다.

결국 그는 "혼자 해보자"는 생각으로 생성형 AI를 활용한 개발에 뛰어들었다. 사비로 서버를 구입해 집에 두고 운영체제(OS) 설치부터 개발 환경 구축, 프로그램 개발과 서버 운영까지 직접 맡았다.

전문 개발자가 아니었던 그에게 생성형 AI는 일종의 '개발 조력자'였다. 새로운 기술을 적용할 때마다 AI에 장단점을 묻고 직접 테스트했다. 오류가 발생하면 원인을 찾아가며 코드를 수정했다. 챗GPT와 제미나이(Gemini), Qwen 등 시중에 나온 여러 AI 모델을 직접 돌려보며 영상 분석에 적합한 모델도 비교했다.

최 매니저는 "처음에는 컴퓨터 사양도 좋지 않아 영상 하나를 분석하려면 몇 시간씩 기다려야 했다"며 "8시간짜리 영상을 돌리면 분석에도 8시간 가까이 걸렸다. 결과가 잘못 나오면 다시 처음부터 돌리는 과정을 반복했다"고 설명했다.

첫번째로 만든 SKT-FAN 프로토타입은 영상을 넣으면 AI가 득점 장면을 찾아 자동으로 잘라주는 비교적 단순한 하이라이트 기능이었다.

프로토타입을 실제 전력분석 시스템으로 키운 것은 선수와 코칭스태프의 요구였다. 최 매니저는 올해 아시안게임을 준비하는 코치진과 전력 분석관을 지속적으로 만나 실제 훈련과 경기 분석에 필요한 기능을 듣고 개발에 반영했다.

현재 SKT-FAN은 영상 속 스코어보드의 점수 변화와 선수 움직임을 인식해 득·실점 시점을 찾아내고 타임라인과 하이라이트를 자동으로 생성한다.

일반 경기 영상만으로 선수의 관절과 움직임을 추적하는 '센서리스 모션캡처' 기술도 적용했다. 이를 통해 선수의 스텝과 자세 변화를 데이터화한다.

플뢰레·에페·사브르 등 세부 종목별 특성을 반영한 알고리즘과 대형언어모델(LLM)을 결합해 선수의 장단점과 경기 특징을 담은 전력분석 리포트까지 자동으로 생성한다. 아시안게임 펜싱 국가대표팀은 지난 8월부터 훈련에 SKT-FAN을 활용하고 있다.

기능이 하나둘 늘어나자 집에서 돌리던 서버 한 대로는 운영이 어려워졌다. 이때부터 회사도 개발을 지원하기 시작했다.

사비로 구입한 서버 한 대에서 시작한 SKT-FAN은 회사 지원을 받아 서버를 8대, 다시 14대까지 늘렸다. 서버가 늘면서 동시에 분석·처리할 수 있는 영상과 분야도 확대됐다.

혼자 진행하던 영상 분석에도 지원 인력이 붙었다. 사내 멀티모달플랫폼팀은 기존 영상 분석 기술을 펜싱에 적용하는 작업을 지원했고, 서버 관리팀도 운영을 맡아 최 매니저가 개발에 집중할 수 있도록 했다.

개인적인 아이디어에서 시작해 혼자 프로토타입을 만들었던 SKT-FAN이 사내 기술 지원을 거쳐 실제 국가대표 훈련에 쓰이는 시스템으로 확장된 셈이다.

최 매니저는 "이 프로젝트가 가능했던 가장 큰 이유는 불확실한 과제인데도 믿고 맡겨준 리더들 덕분"이라며 "스스로 개발자도 아니고 원래 하던 업무도 아닌데 '한번 해보라'고 해주고 필요한 교육이 있으면 다녀오라고 해준 것이 정말 많은 도움이 됐다"고 말했다.

SK텔레콤은 구성원들의 AI 활용 역량을 높이기 위한 사내 교육과 다양한 참여형 프로그램을 운영하고 있다.

SKT-FAN은 올해 아시안게임에서 선수와 코칭스태프가 직접 시스템을 활용한 뒤 2027년 현장 피드백을 반영해 기능을 개선할 예정이다. 이후 경기 데이터를 지속해서 축적하고 분석 정확도를 높여 2028년 로스앤젤레스(LA) 올림픽까지 시스템을 고도화한다.

앞으로도 스포츠 선수들에게 도움이 되는 일을 하고 싶다는 게 그의 목표다.

최 매니저는 "선수들이 최고의 경기력을 낼 수 있도록 최적의 환경을 만들어주는 것이 스포츠마케팅 매니저의 역할 중 하나라고 생각한다"며 "AI가 잘할 수 있는 부분은 자동화하고 코칭스태프와 선수들이 더 중요한 부분에 집중할 수 있도록 돕는 게 목표"라고 말했다.

비개발자로서 AI를 활용해 직접 서비스를 만들어본 그는 개발 역량과 해당 분야에 대한 지식을 함께 갖추는 것이 중요하다고 강조했다.

최 매니저는 "처음부터 거창한 것을 만들려고 하기보다 업무에서 불편했던 작은 문제부터 AI로 해결해 보는 것을 추천하고 싶다"며 "적정 수준의 개발 역량과 충분한 도메인 지식이 결합돼야 AI를 활용해 내가 원하는 서비스를 실제로 구현할 수 있다"고 말했다.

minju@news1.kr