"목 마르다"만 해도…로봇이 물·컵·수도꼭지 탐색하는 AI기술 나왔다

(광주=뉴스1) 조영석 기자 = 광주과학기술원(GIST)은 AI학과 김의환 교수 연구팀이 로봇이 주변의 물체뿐 아니라 손잡이·버튼 같은 세부 부품과 그 기능까지 파악할 수 있는 인공지능(AI) 기술을 개발했다고 17일 밝혔다.

예를 들어 로봇이 음식물을 데우기 위해서는 전자레인지의 위치를 아는 것만으로는 불가능하다. 문을 열기 위해 손잡이를 찾아야 하고, 작동을 위해 버튼의 위치와 기능도 알아야 한다. 사람에게는 당연한 정보지만, 로봇이 실제 환경에서 사람의 지시를 수행하려면 물체와 그 주변의 세부적인 구성 요소, 기능을 함께 이해하는 것이 중요하다.

연구팀은 이러한 문제를 해결하기 위해 물체와 부품의 위치뿐 아니라 각각의 기능과 가능한 행동까지 하나로 연결해 보여주는 ‘통합 3차원 장면 그래프(3DSG)’를 제시하고, 실제 카메라 영상으로부터 이를 자동으로 구축하는 AI 기술 'OP3DSG'를 개발했다.

연구팀이 제안한 OP3DSG는 실제 카메라 영상으로부터 통합 3DSG를 자동으로 구축하는 AI 기술이다.

먼저 영상에서 주요 물체를 찾은 뒤, 해당 물체에 포함될 것으로 예상되는 세부 부품을 함께 탐색한다. 오븐을 발견하면 버튼·문·손잡이 등 오븐을 구성하는 부품을 찾아야 할 대상으로 추가해 탐색하는 방식이다.

연구팀은 개발한 기술을 실제 환경에 적용한 결과 "목이 마르다. 마실 때 쓸 수 있는 것을 가져다 달라"와 같이 구체적인 물체 이름을 직접 제시하지 않은 지시에도 기능적 관계를 바탕으로 필요한 물체를 찾아 해당 위치를 이동 목표로 설정할 수 있었다.

김의환 교수는 "이번 연구의 핵심은 로봇이 '무엇이 어디에 있는지'뿐만 아니라 '어떤 부품을 사용할 수 있고, 어떻게 사용할 수 있는지'까지 이해하는 데 필요한 정보를 하나로 연결한 것"이라며 "서비스 로봇이 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 데 기반 기술로 활용될 수 있을 것으로 기대한다"고 말했다.

김의환 교수가 지도하고 김이룸 석박사 통합 과정생이 제1저자로 수행한 이번 연구 결과는 지난 8일부터 12일까지 스웨덴 말뫼에서 열린 국제학술대회 'ECCV 2026'에서 발표됐다.

연구 성과의 기술 사업화 및 산업적 활용은 창업혁신진흥원 기술사업화센터를 통해 추진할 수 있다.

kanjoys@news1.kr