"LLM 방식, 로봇에 그대로 적용 힘들어…피지컬AI, 계층형 구조 필요"

(서울=뉴스1) 황진중 기자 = 인공지능(AI)이 디지털 공간을 벗어나 로봇 등 현실 세계에서 움직이려면 언어 중심의 현재 AI와 다른 학습·추론 방식이 필요하다는 진단이 나왔다.

현실에서는 주변 환경이 계속 변하고 작은 오류도 실제 사고로 이어질 수 있어 대규모언어모델(LLM)의 학습 방식을 그대로 적용하기 어렵다는 분석이다.

대안으로는 장기 계획은 언어모델이 맡고 실제 움직임은 작고 빠른 모델이 처리하는 계층형 구조가 제시됐다.

삼성전자가 30일 서울 서초구 삼성전자(005930) 서초사옥에서 개최한 '삼성 AI 포럼 2026' 패널 토론에서 '에이전틱 AI와 피지컬 AI의 융합과 미래 전망'을 주제로 AI가 현실 세계로 확장하기 위한 기술 과제가 논의됐다.

토론에는 김윤형 삼성리서치 상무와 란제이 크리슈나 미국 워싱턴대 교수, 후안 카를로스 니에블레스 삼성리서치 북미 AI센터장이 참석했다.

크리슈나 교수는 "물리적 세계에서 가장 큰 변화는 세상이 정적인 공간이 아니라는 것"이라며 "에이전트가 행동하는 동안 세계의 상태 자체가 변하고 다른 행위자들도 각자의 작업을 한다"고 설명했다.

웹페이지처럼 입력과 결과가 구분되는 디지털 환경과 달리 현실에서는 사람과 물체가 계속 움직인다는 지적이다. 로봇은 이를 실시간으로 파악하고 자신의 행동이 주변 환경을 어떻게 바꿀지까지 예측하는 것이 필요하다는 분석이다.

김 상무는 학습 과정에서 발생하는 '실수의 비용'을 핵심 차이로 꼽았다. LLM은 수많은 결과를 생성한 뒤 좋은 결과를 골라 학습할 수 있지만 로봇은 같은 방식을 적용하기 어렵다고 지적했다.

김 상무는 "디지털 세계에서는 수백만 개의 궤적을 샘플링하고 언젠가 정답을 찾는지 확인할 수 있다"며 "물리적 세계에서는 그렇게 할 수 없다"고 말했다.

이어 "현재 모델은 기본적으로 언어 공간에서 작동한다"며 "이런 능력이 시각이나 로봇 제어에 쉽게 이전될 것이라고 생각하지 않는다"고 덧붙였다.

크리슈나 교수는 언어가 과제를 나누고 미래 계획을 세우는 데 강하지만 공간과 물체의 움직임을 이해하는 데는 한계가 있다고 설명했다.

크리슈나 교수는 "자신의 행동이 세계를 어떻게 바꿀지도 계속 생각해야 한다"며 "이런 문제는 언어가 매우 좋지 않은 매체가 되는 공간에서의 추론을 요구한다"고 말했다.

이어 "원숭이는 언어 없이 바나나 껍질을 벗기고 까마귀는 도구를 만들어 음식을 얻는다"며 "물리 세계의 수많은 일은 언어라는 병목을 가진 이산적 표현에 의존할 필요가 없다"고 덧붙였다.

크리슈나 교수는 하나의 거대한 AI 모델이 로봇의 모든 판단과 행동을 맡기보다 여러 모델이 역할을 나누는 계층형 구조를 제안했다.

크리슈나 교수는 "상위에는 언어모델 기반 정책이 계획을 세우고 과제를 분해하며 기억을 관리하고, 하위 정책은 훨씬 빠르고 작은 모델이 맡는 계층적 시스템"이라고 설명했다.

가상 환경에서 로봇 행동을 반복 학습하는 시뮬레이션도 대안으로 거론됐다. 다만 크리슈나 교수는 AI가 시뮬레이션의 허점을 이용해 현실에서는 불가능한 방식으로 높은 보상을 얻는 문제가 남아 있다고 지적했다.

김 상무는 피지컬 AI에서 지속 학습을 지원하는 구조가 더욱 중요해질 것으로 봤다. 그는 "로봇은 새로운 환경에 배치된 뒤 그 환경을 계속 학습하고 피드백에 반응해야 한다"며 "텍스트만으로 이를 처리하는 것은 제대로 작동하지 않을 것"이라고 말했다.

이어 "디지털 세계에서 성공한 기법을 물리 세계로 확장하려면 훨씬 더 효율적인 새로운 알고리즘이 필요할 가능성이 있다"고 덧붙였다.

jin@news1.kr