손동작 읽고 즉시 피드백…UNIST 'AI 기반 음악 학습' 세계 주목

(울산=뉴스1) 김세은 기자 = 국내 연구진이 피아노 연주자의 손동작을 실시간으로 읽고, 연주 데이터를 바탕으로 즉시 피드백을 제공하는 '음악 학습' 기술을 개발해 세계적인 주목을 받고 있다.

울산과학기술원(UNIST)은 디자인학과 엄홍열 교수팀이 영국 뮤직테크 기업 롤리(ROLI)와의 산학협력을 통해 디자인 개발을 주도한 '롤리 피아노(ROLI Piano)'와 '롤리 에어웨이브(ROLI Airwave)'가 2026 CES 혁신상과 iF 디자인상을 받았다고 18일 밝혔다.

이번 연구는 미국 시사주간지 타임(TIME)이 선정한 '더 베스트 인벤션스(The Best Inventions)'에도 이름을 올렸다.

엄 교수팀은 롤리와 함께 차세대 음악 학습·창작 플랫폼을 목표로 두 제품의 디자인을 이끌었다. 이번 프로젝트엔 UNIST 디자인학과 이다빈, 오재혁, 김민지 학생이 참여했다.

핵심 기술인 '롤리 에어웨이브'는 정교한 핸드 트래킹(hand tracking) 기술을 바탕으로 연주자의 손 움직임을 실시간으로 포착한다.

건반 위 손의 위치와 움직임을 분석해 연주와 학습을 돕고, 손가락 위치와 제스처를 감지해 피드백을 제공한다. 기존 악기 교육에서 익히기 쉽지 않았던 손의 위치, 타이밍, 표현 방식까지 한눈에 이해하도록 설계한 점이 특징이다.

이 기술은 롤리의 디지털 악기 시스템과 결합해 연주와 학습, 창작을 함께 지원하는 인터랙티브 플랫폼으로 확장된다. 특히 'AI 뮤직 코치'와 연동돼 연주 데이터를 분석하고, 그 결과를 실시간으로 돌려준다.

기존의 일방향 레슨 방식에서 벗어나 데이터 기반의 상호작용형 음악 교육 환경을 구현했다. 이를 통해 학습 과정에서 겪는 시행착오를 줄이고, 연주자의 창의적 표현을 넓히는 새로운 접근을 제시한다.

엄 교수는 "이번 프로젝트는 디자인 연구가 기술 혁신과 결합해 산업 현장에서 작동하는 제품으로 구현될 수 있음을 세계에 증명했다"며 "AI 디자인 교육을 바탕으로 음악 교육과 창작 경험을 새롭게 바꾸는 연구를 이어가겠다"고 말했다.

syk000120@news1.kr