"AI 물리적 세계 적용하려면 새 접근법 필요…다음 숙제 효율화"

(서울=뉴스1) 김진희 황진중 기자 = 인공지능(AI)이 로봇 등 현실 세계에서 움직이려면 언어 중심의 현재 AI와 다른 학습·추론 방식이 필요하다는 진단이 나왔다. 디지털 공간과 달리 현실에서는 주변 환경이 계속 변하고 작은 오류가 실제 사고로 이어질 수 있어 대규모언어모델(LLM)의 학습 방식을 그대로 적용하기 어렵다는 분석이다.

또 AI 성능이 빠르게 높아진 만큼 향후 발전 방향에 있어 효율화가 필수적으로 고려돼야 한다는 의견도 제기됐다. AI 에이전트 역시 '지속 학습'과 '온디바이스'를 통해 효율적으로 작동할 수 있도록 모델 구조가 바뀌어야 한다는 제언이 나왔다.

크리슈나 미국 워싱턴대 교수는 30일 서울 서초구 삼성전자(005930) 서초사옥에서 개최된 '삼성 AI 포럼 2026'에서 시각-언어 모델의 추론 한계를 개선하고 소형 모델로 고성능 로보틱스 AI를 구현할 수 있는 새로운 접근법을 제시했다.

크리슈나 교수는 "물리적 세계에서 가장 큰 변화는 세상이 정적인 공간이 아니라는 것"이라며 "에이전트가 행동하는 동안 세계의 상태 자체가 변하고 다른 행위자들도 각자의 작업을 한다"고 설명했다.

웹페이지처럼 입력과 결과가 구분되는 디지털 환경과 달리 현실에서는 사람과 물체가 계속 움직인다는 지적이다. 로봇은 이를 실시간으로 파악하고 자신의 행동이 주변 환경을 어떻게 바꿀지까지 예측하는 것이 필요하다는 분석이다.

크리슈나 교수는 "자신의 행동이 세계를 어떻게 바꿀지도 계속 생각해야 한다"며 언어가 과제를 나누고 미래 계획을 세우는 데 강하지만 공간과 물체의 움직임을 이해하는 데는 한계가 있다고 설명했다.

대안으로 장기 계획은 언어모델이 맡고 실제 움직임은 작고 빠른 모델이 처리하는 계층형 구조를 제시했다. 하나의 거대한 AI 모델이 로봇의 모든 판단과 행동을 맡기보다 여러 모델이 역할을 나누는 계층형 구조다.

크리슈나 교수는 "상위에는 언어모델 기반 정책이 계획을 세우고 과제를 분해하며 기억을 관리하고 하위 정책은 훨씬 빠르고 작은 모델이 맡는 계층적 시스템"이라고 언급했다.

차세대 AI 발전 방향으로 효율성이 꼽혔다. AI 성능이 높아진 만큼 모델 학습과 서비스에 필요한 연산량, 데이터, 전력 사용량이 함께 늘고 있어 적은 자원으로 높은 성능을 내는 기술이 중요해지고 있다는 주장이다.

황인철 삼성전자 MX사업부 부사장은 "AI를 제공하는 제품 입장에서는 좋은 기능을 사용자에게 어떻게 전달할 것인지, 효율성의 문제를 고민하게 된다"면서 "궁극적으로는 최소한의 자원으로 좋은 경험을 그대로 유지해 사용자를 만족시키는 것이 과제"라고 말했다.

황 부사장은 "AI가 규모 확장을 중심으로 발전했다면 앞으로 지속 가능한 AI를 위해서는 효율화가 필수"라고 강조했다.

황 부사장은 사람의 뇌가 제한된 자원으로 정보를 처리하는 방식에서 AI 효율화의 단서를 찾을 수 있다고 했다.

그러면서 △필요한 기억만 찾아 쓰는 '라이트 컨텍스트' △중복 연산을 줄이는 '라이트 컴퓨테이션' △필요한 모델이나 일부 영역만 작동시키는 구조 △문제 난이도에 따른 추론량 조절 △사용하면서 새로운 정보를 반영하는 지속학습 등 뇌의 효율적인 정보 처리 5가지 원리를 제시했다.

그는 "추론을 많이 한다고 정답률이 올라가는 것은 아니다"면서 "추론 시간보다 어디에 집중해 어떤 문제를 풀어야 전체 문제가 해결되는지를 고민해야 한다"고 말했다.

그는 AI 에이전트 확산도 효율화 필요성을 높이는 요인으로 지목했다. 하나의 작업을 처리하기 위해 AI 모델을 여러 차례 호출하면서 서비스 단계에서 처리해야 할 토큰과 연산량이 많이 늘어날 수 있어서다.

김윤형 삼성리서치 상무(MIT 교수 겸임)는 AI 에이전트의 다음 발전 방향으로 '지속 학습'과 '온디바이스'를 제시했다. AI가 새로운 정보를 계속 익히고 스마트폰 등 기기 안에서도 효율적으로 작동할 수 있도록 모델 구조를 바꿔야 한다는 제안이다.

김 상무는 생성형 AI와 언어모델 분야의 선도 연구자다. 그는 현재 대규모 언어모델(LLM)의 기반인 트랜스포머가 생성형 AI 발전을 이끌었지만 긴 대화나 많은 문서를 계속 기억하고 학습하는 데는 한계가 있다고 설명했다.

대안으로는 '선형 어텐션'(linear attention)과 '컴팩션'(compaction)이 제시됐다. 선형 어텐션은 이전 내용을 처리하는 방식을 단순화해 긴 문맥을 적은 메모리로 다루는 기술이다. 컴팩션은 긴 문서나 대화 기록을 짧은 형태로 압축해 AI가 계속 참고할 수 있도록 하는 방식이다.

김 상무는 "선형 어텐션은 사실상 무한한 컨텍스트를 처리할 수 있고 잠재적으로 제한 없는 지속 학습으로 이어질 수 있다"면서 "모델이 우리가 제공한 컨텍스트뿐 아니라 상호작용과 자신의 추론 과정을 통해 계속 학습하려면 컴팩션을 효율적으로 수행하는 능력이 중요하다"고 강조했다.

김 상무는 피지컬 AI에서 지속 학습을 지원하는 구조가 더욱 중요해질 것으로 봤다. 그는 "로봇은 새로운 환경에 배치된 뒤 그 환경을 계속 학습하고 피드백에 반응해야 한다"며 "텍스트만으로 이를 처리하는 것은 제대로 작동하지 않을 것"이라고 말했다.

이어 "디지털 세계에서 성공한 기법을 물리 세계로 확장하려면 훨씬 더 효율적인 새로운 알고리즘이 필요할 가능성이 있다"고 덧붙였다.

jinny1@news1.kr