'로봇 눈'의 진화…슈퍼브AI, 'K-엑사원 데이터 공장' 가동

(서울=뉴스1) 김민석 기자 = '피지컬 AI' 경쟁의 승부처가 로봇 하드웨어를 넘어 실환경 데이터와 학습 역량으로 확장되고 있다.

실제 작업 공간과 사람의 동작을 수집하고 이를 3차원 디지털 자산과 합성 데이터로 확장한 뒤 시뮬레이션과 현장 실증으로 재검증하는 '로봇 데이터 공장' 구축이 새 인프라 경쟁으로 떠오르고 있다.

피지컬 AI의 경쟁력은 모델 크기와 데이터양에 더해 실제 현장의 공간·행동·실패 맥락을 담은 로봇 데이터를 얼마나 정교하게 축적하고 학습하느냐에 달렸다는 평가다.

22일 업계에 따르면 LG AI연구원 컨소시엄에 참여한 슈퍼브에이아이(슈퍼브AI)는 'K-엑사원'의 비전·영상·피지컬 AI 데이터 기반 구축을 맡고 있다. 슈퍼브AI는 '독자 AI 파운데이션 모델'(독파모) 1·2차 사업에서 실환경 기반 공간·행동 데이터 파이프라인을 구축했다. LG AI연구원 컨소시엄은 2차 평가를 통과해 3차수에 진출했다.

슈퍼브AI는 실제 가정 50곳에서 확보한 약 4억 프레임의 원본 촬영본을 자동 큐레이션해 RGB-D 원시 데이터 108만 프레임으로 선별했다. 이 중 학습 기여도가 높은 30만 프레임을 모델 학습·검증용 데이터 자산으로 전환했다.

구체적으로 요리·세탁·정리·청소 등 생활 작업을 17대 고프로를 동기화한 멀티뷰 카메라 리그로 촬영했다. 공간 전체를 담는 15대의 제3자 시점 카메라에 로봇 시야를 모사한 1인칭 카메라, 3D 공간 복원용 스캔 카메라를 결합했다. 중복·정적 구간은 줄이고 핵심 동작과 객체 상호작용, 엣지 케이스를 중심으로 데이터를 추려 학습 효율을 높였다.

RGB-D는 일반 색상 영상에 카메라와 물체 사이의 깊이 정보를 결합한 시각 데이터다. 로봇은 이를 바탕으로 사물을 알아보는 데서 나아가 물체까지의 거리와 배치, 손·물체의 상대 위치 등 3차원 공간 관계를 추정할 수 있다.

업계는 피지컬 AI 구현의 핵심은 사물을 정확히 알아보는 데 그치지 않고, 인식 결과를 실제 조작 행동으로 연결하는 데이터 맥락에 있다고 본다.

로봇이 카메라 영상에서 컵을 찾았더라도 설거지나 물 따르기를 하려면 컵의 위치와 자세, 주변 환경, 파지·이동·접촉 과정, 작업 결과를 함께 판단하고 제어해야 한다. 실제 조작 단계에서는 힘·토크·촉각 등 센서 정보를 활용해 파지력을 조절하고, 물체 미끄러짐이나 충돌 같은 실패가 발생하면 상태를 인식해 재시도·재계획하는 능력도 필요하다.

슈퍼브AI는 사람의 동작을 1인칭·3인칭 영상으로 수집·가공하고 자연어 라벨을 결합해 행동의 의도와 맥락을 학습할 수 있는 멀티모달 데이터 기반을 구축했다고 설명했다. 이는 언어 지시와 시각 정보, 행동 맥락을 연결하는 VLA(Vision-Language-Action) 모델의 학습 기반 중 하나다. 실제 로봇 조작에는 관절·그리퍼 상태, 행동 궤적, 힘·촉각 등 접촉 데이터와 저수준 제어 체계도 필요하다.

대규모 피지컬 AI 학습에서는 실제 촬영 데이터만으로 부족하다는 분석이 우세하다. 실제 공간을 3차원 시뮬레이션 자산으로 전환하고 가상환경에서 조명·카메라 시점·물체 위치·재질·배치를 바꾼 합성 데이터를 생성해 학습 범위를 넓히는 방식이 확산하고 있다.

합성 데이터는 실제 환경에서 드물거나 위험해 반복 수집하기 어려운 엣지 케이스를 빠르게 늘릴 수 있다. 물체의 예상 밖 배치, 시야 가림, 근접 충돌 같은 상황을 시뮬레이션으로 생성해 인식 모델과 로봇 행동 정책의 학습·검증에 활용할 수 있다.

다만 합성 데이터는 실환경 데이터를 대체하기보다 보완하는 수단으로 평가된다. 가상환경의 마찰·질량·관성·접촉 모델, 조명·재질·센서 노이즈가 실제와 다르면 시뮬레이션에서 성공한 정책도 실제 로봇에서는 성능 저하나 실패를 보일 수 있다.

실제 로봇·객체의 물리 특성을 반영한 시뮬레이션 모델을 구축하고, 도메인 랜덤화와 실로봇 검증·미세조정을 결합해 시뮬레이션-현실 간 성능 격차(심투리얼·sim-to-real gap)를 줄이는 일이 핵심 과제로 꼽힌다.

업계 관계자는 "피지컬 AI 고도화 과정에서 현장 데이터를 반복 수집·학습·배포하는 '데이터 플라이휠'의 중요성도 커지고 있다"며 "로봇 하드웨어 개발과 함께 현장의 변화와 실패를 다음 모델 학습으로 얼마나 빠르게 연결하느냐가 실제 운용 성능을 가를 것"이라고 말했다.

ideaed@news1.kr