"너를 만났다"…천국의 딸과 엄마 이은 '디지털 오작교' VR 뭐길래

천국에 간 딸과 엄마의 '오작교' 역할을 한 것은 가상현실(VR) 기술이었다. 현실에서는 이루지 못할 '꿈의 만남'을 VR 기술로 구현했다. 기술이 21세기 '디지털 오작교' 역할을 한 셈이다. 

MBC 스페셜 VR 휴먼다큐멘터리 '너를 만났다'가 주목받으면서 어떤 VR기술이 쓰였는지에 대해서도 관심이다. 

6일 전파를 탄 '너를 만났다'는 3년 전 혈액암으로 갑자기 세상을 떠난 딸 나연이를 엄마 장지성씨가 가상현실에서 만나는 VR 휴먼다큐다. 3년 전 떠나간 나연이는 약 1년의 제작기간과 4개월의 기술개발을 통한 VR로 엄마와 재회했다.

방송에 쓰인 기술은 프리 렌더링과 리얼타임 엔진 기술이다. 프리 렌더링은 주변을 360도 시야로 둘러볼 수 있게 하는 기술이다. 또 리얼타임 렌더링 기술로 상대방과 상호 작용을 할 수 있다. 주로 VR 게임에 많이 쓰인다.



이 기술로 VR 기기를 쓴 사람은 구현된 공간 안에서 구조물들과 상호작용할 수 있다. 이같은 VR 기술을 구현하기 위해서는 '3D스캐닝', '모션캡처' 등의 작업이 뒷받침돼야 한다. 인물의 외형과, 목소리, 움직임을 구현하기 위해서다. 

제작진은 VR속 나연이를 실제 모습에 가깝게 만들기 위해 가족들의 인터뷰와 핸드폰 속 사진, 동영상에 저장된 다양한 얼굴과 표정, 특유의 몸짓, 목소리, 말투를 총동원해 분석했다.

우선 대상의 외형을 만드는데 필요한 '3D 스캐닝'은 여러 대의 카메라를 원형으로 배치한 3D 스캔부스에서 대상의 얼굴과 몸을 동시에 촬영해 기초가 되는 3D모델을 만드는 작업이다. 제작진은 나연이와 비슷하게 생긴 아이를 섭외해 160대의 카메라로 촬영, 이를 본떠 가상의 캐릭터를 만들었다.

이와 관련 시각적인 특수효과(Visual FX)를 담당한 김성수 비브스튜디오스 소장은 <뉴스1>과의 전화 인터뷰에서 "비슷하게 생긴 아이의 외형을 스캔한 후 나연이가 나온 비디오·사진을 토대로 최대한 나연이와 닮게 컴퓨터로 재가공하는 작업을 거쳤다"고 말했다.

목소리는 나연이의 목소리 샘플이 1분 밖에 없어 비슷한 또래의 아이들 목소리를 입혀서 가공했다. 제작진은 5명의 또래 아이를 섭외해 800문장씩 녹음, 10시간 분량의 데이터를 만들어 딥러닝을 적용했다. 딥러닝이란 다량의 데이터를 이용해 사람처럼 스스로 학습하는 머신러닝의 한 분야다. 비브스튜디오스는 높은 AI 음성합성 기술을 보유한 네오사피엔스와의 협업으로 나연이에게 음성을 입혔다. 

다음은 나연이가 움직일 차례다. 이때 쓰이는 기술이 '모션캡처'다. 이 기술은 몸에 센서를 부착시켜 인체의 움직임을 디지털 형태로 기록하는 작업을 말한다. 제작진은 나연이의 표정과 움직임을 모사할 연기자를 섭외 움직임을 캡처한 후 이를 캐릭터에 적용했다.

이제 엄마를 만날 때가 됐다. 엄마는 공원에서 놀고 있는 가상의 나연을 만나고 눈물을 터뜨렸다.

엄마 앞에서 나연이는 어떤 신호에 반응할까. 제작진은 자연스러움을 위해 자동과 수동을 섞어 구현하기로 했다.

김 소장은 "엄마가 나연이 몸에 손을 대면 자동적으로 부끄러워 하거나 하는 동작들을 구현할 수 있도록 개발했다"라며 "간단한 동작 외의 것들은 PD의 지시로 진행된다"라고 설명했다.

그렇다면 일반인들이 '사라진 너'를 만나는 시대가 오기까지는 어느 정도의 시간이 걸릴까.

김 소장은 "인성까지 갖추는 것은 어렵겠지만 발전 속도를 보면 5년~10년 내로는 가능하지 않을까 싶다"라며 "다음에 이런 프로젝트가 또 생긴다면 더 높은 수준의 퀄리티로 준비해 보여드리고 싶다"라고 말했다.

v_v@news1.kr