(서울=뉴스1) 김민석 기자 = 엔비디아는 음성을 기반으로 실시간 얼굴 애니메이션을 구현하는 '오디오투페이스'(Audio2Face) 모델과 SDK를 오픈소스로 공개했다고 26일 밝혔다.
오디오투페이스는 이용자의 음성에서 △음소 △억양 △감정 등을 추출해 얼굴 움직임으로 변환한다. 이를 통해 애니메이션 사전 제작은 물론 실시간 게임 속 캐릭터 표정 등을 구현할 수 있다.
엔비디아 관계자는 "오디오투페이스 기술은 비디오 게임과 3D 애플리케이션 개발 현장에 사실적인 캐릭터 표정과 립싱크를 더해줄 것"이라며 "몰입감을 높이는 핵심 도구로 자리 잡을 전망"이라고 말했다.
엔비디아는 △오디오투페이스 SDK △언리얼엔진5·오토데스크 마야용 플러그인 △훈련 프레임워크 등을 오픈소스로 공개했다. 립싱크 회귀 모델(v2.2), 확산 모델(v3.0), 오디오 감정 추론 모델(오디오투이모션) 등도 제공된다.
개발자는 오픈소스와 자체 데이터를 활용해 모델을 미세 조정할 수 있다.
엔비디아 관계자는 "오디오투페이스는 게임뿐 아니라 미디어·엔터테인먼트·고객 서비스 등 활용 범위가 넓어지고 있다"며 "차세대 얼굴 애니메이션과 게임 개발 파이프라인 혁신을 가속할 것"이라고 전했다.
ideaed@news1.kr
