오상욱 스텝까지 AI가 읽는다…SKT, 아시안게임 실전에 AI 투입

(서울=뉴스1) 이민주 기자 = 펜싱 국가대표 오상욱의 경기 영상이 재생되자 화면 속 오 선수의 몸 위로 관절을 잇는 선이 따라붙었다. 오 선수가 앞으로 나아가고 팔을 뻗을 때마다 어깨와 팔꿈치, 손목, 무릎 등 주요 관절을 표시한 선이 함께 움직인다.

득·실점이 발생할 때마다 화면 아래에는 장면을 잘라낸 하이라이트가 생성된다. 경기 시작 6초, 14초, 30초 등 점수가 바뀐 순간들이 타임라인에 차례로 쌓였다.

화면 옆으로는 실시간으로 AI가 각 득·실점 장면을 분석한 '전술 판정 보고서'를 써내고 있다. 선수들이 어떻게 거리를 좁혔는지 어떤 공격과 반격을 시도했는지부터 스텝과 자세 변화, 득점으로 이어진 움직임까지 AI가 분석한 문장이 차례로 화면에 나타난다.

SK텔레콤은 26일 충북 진천선수촌에서 자체 개발한 펜싱 AI 전력분석 시스템 'SKT-FAN'(Fencing AI Nexus)을 공개했다.

SKT-FAN은 경기 영상을 AI가 분석해 득·실점 장면을 자동으로 찾아내고 선수의 움직임을 데이터화해 전력분석 리포트까지 제공하는 시스템이다.

SK텔레콤(017670)은 2003년부터 대한펜싱협회 회장사로서 24년째 올림픽 실전 모의 환경 조성, 해외 대회 참가 지원 등 대한민국 펜싱의 경기력 향상을 지원해 왔으며 올해는 SKT의 AI 기술 자체를 국가대표 경쟁력 강화에 접목하는 새로운 형태의 스포츠 파트너십을 추진하고 있다.

SKT-FAN은 아시안게임을 앞두고 기존 전력분석관이 수작업으로 진행하던 반복 업무를 AI에 맡겨 보다 많은 선수와 경기를 분석할 수 있도록 돕고 있다.

SK텔레콤이 경기 영상은 많지만 이를 직접 확인할 수 있는 인력과 시간이 제한적이라는 현장의 어려움을 해결하기 위해 시스템을 개발하기 시작했다.

SK텔레콤에 따르면 기존 펜싱 전력분석은 경기 종료 후 전력분석관이 전체 영상을 직접 확인하면서 필요한 장면을 일일이 편집하고 분석하는 방식으로 이뤄졌다.

현재 2명의 전력분석관이 경기당 평균 1시간가량을 들여 분석하고 있다. 하지만 한 대회에서도 예선과 본선 토너먼트를 거치며 수많은 경기가 열리는 만큼 모든 경기와 해외 경쟁 선수까지 분석하기에는 시간과 인력에 한계가 있다.

최종혁 SK텔레콤 스포츠마케팅팀 매니저는 SK텔레콤의 자체 AI 모델 에이닷X을 활용해 SKT-FAN을 개발해 반복 업무를 자사 AI 기술로 처리하도록 설계했다.

영상 속 스코어보드의 점수 변화와 선수 움직임을 컴퓨터 비전 기술로 인식해 득·실점 시점을 찾아내고 해당 장면을 기준으로 타임라인과 하이라이트를 자동으로 생성한다. 영상 분석과 관련된 반복 업무를 최대 90%까지 줄이는 것이 목표다.

선수의 움직임을 분석하기 위해 선수들이 별도로 장비를 착용할 필요도 없다. '센서리스 모션캡처'(Sensorless Motion Capture) 기술을 적용해 일반 경기 영상만으로 선수의 관절 포인트와 움직임을 추적하고 이를 데이터로 변환한다.

이렇게 쌓인 경기·모션 데이터는 선수별 데이터베이스(DB)로 축적되고 여기에 플뢰레·에페·사브르 등 펜싱 세부 종목별 특성을 반영해 국가대표 코칭스태프와 전력분석관이 함께 정리한 알고리즘과 대형언어모델(LLM)을 결합해 선수의 장단점과 경기 특징을 담은 전력분석 리포트를 자동으로 생성한다.

AI가 전력분석관이나 지도자를 대신하는 것은 아니다. AI가 대량의 경기 데이터 처리와 1차 분석을 맡고 전력분석관과 지도자는 이를 토대로 경기의 맥락을 해석하고 실제 전략을 판단하는 구조다.

국가대표 코칭스태프는 기존 영상 분석과 비교해 AI가 선수의 세밀한 움직임 변화를 포착하는 점을 강점으로 꼽았다.

아시안게임 펜싱 국가대표팀은 이달부터 훈련에 SKT-FAN을 활용하고 있다. SK텔레콤은 지난해부터 대한펜싱협회 측과 시스템 개발을 논의한 뒤 올해 초 본격적인 개발에 들어갔으며 5월 베타테스트를 거쳐 이달 선수단에 시스템을 공개했다.

원우영 펜싱 사브르 국가대표 코치는 "기존에도 전력분석관과 선수들이 함께 영상을 보면서 선수들의 성향 등을 분석해 시합을 대비했다"며 "AI가 선수들의 스텝이나 동작의 크고 작은 변화, 성향 등을 디테일하게 잡아주는 부분에 대해 선수들과 이야기하면서 도움이 많이 되고 있다"고 말했다.

이어 "지도자로서 생각하지 못했던 부분을 AI가 풀어서 보여주는 것이 혁신적"이라며 "선수들에게 설명하기 어려운 부분이 있는데 AI의 도움을 받아 선수들과 영상을 보며 대화하는 것도 편해졌다"고 설명했다.

아직 보완할 부분도 있다. 현재 SKT-FAN은 선수의 신체 움직임을 중심으로 분석하고 있어 향후에는 펜싱 검의 움직임까지 분석 범위를 넓힐 필요가 있다는 선수단 의견도 나왔다.

원 코치는 "현재는 모션과 동작을 중심으로 분석하고 있는데 칼의 라인까지 볼 수 있으면 좋겠다"며 "그런 부분까지 보완된다면 더 도움이 될 것 같다"고 말했다.

SK텔레콤과 대한펜싱협회는 이번 2026 아이치·나고야 아시안게임을 시작으로 SKT-FAN을 꾸준히 국가대표팀 전력분석에 활용할 계획이다.

SKT-FAN을 활용해 전체 출전 선수의 예선 경기와 해외 경쟁 선수 경기까지 분석 범위를 확대할 예정이며 선수별 데이터가 축적되면 장기적으로 선수의 전술과 움직임이 어떻게 변화하는지도 추적할 수 있을 것으로 예상하고 있다.

최종 목표는 경기 종료 후 영상을 다시 보는 '복기' 중심의 전력분석에서 벗어나 대회가 진행되는 동안 상대 선수의 경기 영상과 데이터를 확인하고 곧바로 전략에 반영할 수 있는 실시간 전력분석 시스템으로 발전시키는 것이다.

이를 위해 올해 아시안게임에서 선수와 코칭스태프가 직접 시스템을 활용한 뒤 2027년에는 현장의 피드백을 반영해 기능을 개선한다. 이후 경기 데이터를 지속해서 축적하고 분석 정확도를 높여 2028 로스앤젤레스(LA) 올림픽까지 시스템을 고도화할 계획이다.

SK텔레콤 관계자는 "AI가 잘할 수 있는 반복적인 업무는 AI가 진행하고 선수와 지도자가 잘할 수 있는 부분에 집중할 수 있도록 하는 방식"이라며 "데이터가 쌓일수록 분석이 정교해지고 대한민국 펜싱만의 경쟁력도 높아질 것"이라고 말했다.

minju@news1.kr