"'가방 든 사람 찾아줘' 설명하면 AI가 알아서 추적"

(인천=뉴스1) 박소영 기자 = 인하대학교는 배승환 전기컴퓨터공학과 교수 연구팀이 사용자의 자연어 설명만으로 영상 속 대상을 찾아 추적하는 인공지능(AI) 기술을 개발했다고 2일 밝혔다.

기존 영상 객체 추적 기술은 첫 화면에서 사용자가 직접 추적 대상을 지정해야 하는 방식이 대부분이었다. 그러나 실제 환경에서는 사용자가 정확한 위치를 지정하기 어렵거나, 영상이 진행되는 중간에 추적 대상을 변경해야 하는 경우가 많다는 한계가 있었다.

연구팀은 이러한 문제를 해결하기 위해 자연어 설명만으로 추적 대상을 인식하는 기술을 개발했다. 사용자가 '빨간 옷을 입은 사람'이나 '검은 가방을 든 남성'처럼 대상을 말로 설명하면 AI가 영상 속에서 가장 일치하는 대상을 찾아 추적하는 방식이다.

이번 기술의 핵심은 AI가 현재 추적 결과의 신뢰도를 스스로 판단한다는 점이다. 대상이 명확하게 보이는 상황에서는 주변 영역만 집중적으로 탐색해 안정적으로 추적하고, 대상이 가려지거나 비슷한 물체가 많아 혼동 가능성이 커지면 화면 전체를 다시 탐색해 대상을 찾아낸다.

사용자가 영상이 재생되는 도중 설명을 바꾸면 새로운 설명에 맞는 대상으로 추적을 전환할 수 있는 것도 특징이다. 기존처럼 특정 이미지를 미리 지정하지 않아도 언어만으로 추적 대상을 설정하고 변경할 수 있다.

연구팀은 공개 데이터셋을 활용한 성능 평가에서 기존 기술보다 우수한 추적 성능을 확인했으며, 제안한 '마진 신뢰도 기반 추적 전략'이 효과적으로 작동하는 원리에 대한 이론적 분석도 함께 제시했다.

이번 기술은 지능형 CCTV를 비롯해 로봇, 드론, 영상 검색, 사람과 AI의 상호작용 등 다양한 영상 AI 분야에 활용될 것으로 기대된다.

배 교수는 "이번 연구는 사용자가 직접 대상을 지정하지 않아도 자연어만으로 영상 속 대상을 추적할 수 있음을 보여준 사례"라며 "앞으로 지능형 영상 분석과 로봇 비전, 온디바이스 AI 등 실제 산업 현장에 적용할 수 있도록 연구를 발전시켜 나가겠다"고 말했다.

imsoyoung@news1.kr