오픈AI가 공개한 영상 생성 인공지능(AI) '소라'로 만든 중국 축제 영상의 일부 모습. (오픈AI 공식 블로그 갈무리) 2024.02.19 /뉴스1

만화에서는 100만 대군이 맞붙는 대규모 전쟁 장면을 창작자의 노력과 시간으로 그려낼 수 있다. 영화는 대규모 인원을 동원하거나 정교한 컴퓨터 그래픽(CG)으로 이를 구현한다. CG에 수백억 원이 들어간 사례가 있을 정도로 비용 부담이 상당하다.

이같은 방식을 선택할 수밖에 없었던 미디어 산업이 전환기를 맞았다. 실제 같은 영상을 제작하는 인공지능(AI)이 등장했기 때문이다.기존 CG는 사람의 손으로 하나하나 그려내거나 3차원 물체를 모델링, 렌더링하고 물리적 상호작용을 구현하는 등의 작업을 거쳐야 해서 많은 자원과 비용이 필요했다.

'아바타:물의길'은 외계 행성에서 일어나는 일을 담고 있어 대부분의 장면에 CG 기술이 활용됐다. 제작비로 약 4700억 원(3억5000만 달러) 이상이 투입된 것으로 추정되고 있다. 특히 뉴욕타임스의 보도에 따르면 물체가 물속에서 움직이는 장면을 구현하는 데 약 2주의 컴퓨터 시뮬레이션이 필요했다.

최근 오픈AI는 영상 생성AI 소라(Sora)로 사실성이 높은 고해상도 영상을 얼마 되지 않는 명령어로 만들어내는 것을 보였다.

오픈AI는 "소라는 생성된 단일 비디오 내에서 캐릭터와 시각적 스타일을 정확하게 유지하는 여러 장면을 만들 수 있다"며 "소라는 사용자가 요청한 내용뿐만 아니라 이러한 내용이 실제 세계에 어떻게 존재하는지 이해한다"고 설명했다.

예를 들어 이용자가 구체적 사항을 모두 입력하지 않더라도 '골드러시 당시 캘리포니아의 역사 기록 영상' 같은 문구를 입력하면 사람들이 말을 타고 다녔던 당시 시대상을 반영한 영상이 만들어지는 식이다.

구글도 지난달 '르미에르'(Lumiere)라는 영상 생성AI 모델을 발표했다. 르미에르는 명령어에 기반한 영상을 생성할 뿐 아니라 기존 영상 속 등장인물의 옷을 바꾸거나 일부가 가려지거나 삭제된 부분을 복원하는 것도 가능하다. 영상 생성을 넘어 편집 영역에서도 생성AI 활용 가능성이 증명된 것이다. 이는 재촬영 비용 감소 및 표현 가능성 확대로 이어질 수 있다.

구글의 영상 생성 인공지능 모델 '르미에르'를 활용해 원본 이미지의 옷을 변경한 사례. 가장 왼쪽이 원본 (루미에르 공개 깃허브 갈무리) 2024.01.26 /뉴스1

다만 오픈AI와 구글은 악용 가능성 등을 이유로 대중이 사용할 수 있게 공개하지는 않았다. 소라는 현재 영상 및 인공지능 관련 전문가를 대상으로 피드백을 받는 단계다. 양사는 AI 합성물 표시·탐지 기술 등 악용 방지 방안을 찾고 있다.

소라와 르미에르가 널리 쓰이는 데는 부작용 방지 외에도 기술 고도화가 필요한 상황이다.

생성된 영상 일부는 손가락 관절이 부자연스러운 등 자세하게 봤을 때 어색한 점이 있다. 또 오픈AI에 따르면 물리적으로 불가능하거나 인과관계에 어긋나는 영상이 만들어지는 경우도 있다. 예를 들어 앞 장면에서는 쿠키를 베어 물었지만 나중에 쿠키가 멀쩡한 식의 영상이 나오기도 한다.

업계 일각에서는 텍스트, 이미지 생성AI에서도 유사한 문제가 발생하지만 점차 개선되고 있는 만큼 영상 영역에서도 한계를 극복할 수 있다고 보기도 한다.


seungjun241@news1.kr