AI가 찾아주는 '최애'…갤Z폴드8 '마이 팬캠' 어떻게 구현했나

(서울=뉴스1) 김정현 기자 = 삼성전자(005930) 갤럭시Z폴드8 시리즈에 처음 탑재된 '마이 팬캠'(My FanCam) 기능에 대해 개발자들이 개발 비화를 공개했다.

삼성전자는 1일 뉴스룸을 통해 갤럭시Z폴드8 시리즈에 새롭게 적용된 마이 팬캠의 개발자 인터뷰를 공개했다.

마이 팬캠은 여러 사람이 등장하는 영상에서 사용자가 원하는 인물을 선택하면 AI가 해당 인물의 움직임을 추적해 인물 중심으로 영상을 자동 재구성하는 기능이다.

삼성전자 MX사업부 멀티미디어개발그룹의 홍소희 프로는 마이팬캠에 대해 "사용자가 원하는 인물 중심의 영상을 보다 쉽고 간편하게 만들 수 없을까 하는 고민에서 출발했다"고 언급했다.

실제로 마이팬캠을 쓰면 공연장에서 촬영한 단체 영상을 특정 아티스트의 '직캠'으로 만들거나 운동회·학예회 영상에서 자녀만 따라가는 영상을 만들 수 있다. 이를 가능케 한 건 삼성리서치가 개발한 정교한 AI 모델 덕이다.

다만 해당 기능을 스마트폰 '온디바이스'에서 구동하도록 하는 건 쉽지 않았다. 긴 영상을 분석할수록 연산량이 많아지는 만큼, 처리 속도뿐 아니라 전력 소모와 발열까지 함께 고려해야 했기 때문이다.

김성환 삼성전자 MX사업부 멀티미디어개발그룹 프로는 "이를 위해 삼성리서치는 적은 연산으로도 필요한 성능을 낼 수 있도록 AI 모델을 최적화하고, MX사업부는 영상 디코딩부터 데이터 전달 분석까지 처리 전반을 세밀하게 살펴 성능 저하를 최소화하면서 연산량을 줄이는 데 집중했다"고 설명했다.

실제 촬영 환경에서 발생하는 변수도 학습·검증 과정에 반영했다. 실제 영상에서는 빠르게 움직이는 사람이나 여러 사람이 서로 겹치는 상황 등으로 AI가 인물을 제대로 추적하지 못하는 문제가 발생할 수 있기 때문이다.

이에 MX사업부가 실제 사용 과정에서 발견한 사례를 삼성리서치에 전달하면 삼성리서치가 AI 모델과 추적 방식을 개선하고 이를 다시 제품에서 검증하는 과정을 반복했다. 개발 과정에서 양측의 회의 주기도 당초 주 1회에서 매일 아침으로 늘렸다.

개발진은 사용자들에게 마이팬캠을 다양하게 활용해 볼 것도 권유했다.

박황필 삼성리서치 비주얼테크놀로지팀 프로는 "새롭게 촬영한 영상뿐 아니라 갤럭시로 촬영하지 않은 기존 영상에도 활용할 수 있다"며 "원하는 인물을 중심으로 자신만의 영상을 만들어보길 바란다"고 말했다.

Kris@news1.kr