DualManip: 로봇이 다시 생각할 때와 움직임을 고칠 때

물체가 움직일 때마다 처음부터 다시 생각해야 할까요?

로봇이 어떤 물체를 집으려는 순간, 그 물체가 조금 움직였다고 상상해 봅니다. 로봇은 손을 뻗을 위치를 바꿔야겠지요. 그렇다고 무엇을 하려 했는지까지 매번 처음부터 다시 생각해야 할까요?

물체가 움직였어도 작업의 목적은 그대로일 수 있습니다. 부드러운 물체의 모양이 달라졌더라도, 그것을 잡아서 옮기려는 의도까지 바뀌지는 않을 수 있습니다. 이때는 작업 전체를 새로 해석하기보다, 달라진 위치와 모양에 맞춰 잡는 방식을 고치면 될지도 모릅니다.

오늘 소개할 논문은 이 차이에서 출발합니다. Chengxi Li, Yan Di, Yingyue Li, Ruida Zhang, Mingyang Li, Xiangyang Ji가 쓴 「DualManip: Agentic Dynamic Manipulation via Dual-Path Semantic Reasoning and Geometric Adaptation」입니다. 논문은 arXiv 원문에서 확인할 수 있습니다.

이 글은 제공된 제목과 초록을 바탕으로 연구의 문제의식과 방법을 풀어 소개합니다. 아래의 생활 속 예시는 이해를 돕기 위한 비유이며, 논문에서 수행한 개별 실험을 설명하는 것은 아닙니다.

제가 이 연구에서 눈여겨본 부분은 무엇을 다시 판단하고, 무엇을 바로 고칠지 나누는 구조입니다. 로봇의 지능을 실제 작업으로 연결할 때 중요한 질문이라고 봅니다.

잘 이해하는 능력과 제때 반응하는 능력

논문은 시각·언어 모델(VLM, 영상과 언어를 함께 다루는 AI 모델)의 장점과 한계를 함께 짚습니다. 이런 모델은 미리 정해진 단어 목록에만 묶이지 않고, 다양한 표현을 바탕으로 로봇의 물체 조작을 추론할 수 있습니다. 다만 추론 지연, 즉 입력을 받아 판단을 내놓기까지 걸리는 시간이 길면 계속 변하는 장면에 빠르게 대응하기 어렵다는 문제를 짚습니다.

누군가에게 식탁 위의 물건을 정리해 달라고 부탁하는 상황을 떠올려 봅니다. 무엇을 어디로 옮길지 이해하는 일과, 손을 뻗는 도중 조금 밀린 물건의 위치를 따라가는 일은 서로 연결되어 있지만 같은 종류의 판단은 아니겠지요.

초록은 많은 장면 변화가 작업 의도를 무효로 만들지 않은 채 물체의 위치나 모양만 바꾼다고 설명합니다. 이 구분이 가능하다면, 변화가 생길 때마다 비교적 오래 걸리는 판단 과정을 반복할 필요는 줄어들 수 있습니다.

물론 모든 변화를 단순한 위치 보정으로 처리할 수 있다는 뜻은 아닙니다. 기존에 잡으려던 방식이 더 이상 유효하지 않다면, 작업을 다시 해석해야 할 수도 있습니다. 빠르게 고치는 능력과 함께, 언제 다시 생각해야 하는지 구분하는 능력이 중요해 보입니다.

DualManip이 나눈 두 가지 역할

DualManip은 의미 추론과 기하 적응이라는 두 경로를 둡니다. 의미 추론은 무엇을 하려는지와 어떤 상호작용이 필요한지를 판단하는 과정입니다. 기하 적응은 관찰되는 물체의 위치와 모양 변화에 맞춰 대응하는 과정입니다.

의미 경로는 작업의 방향을 잡습니다. 초록에 따르면 이 경로는 작업을 나누고, 작업에 필요한 상호작용을 실제 장면의 대상과 연결합니다. 이어서 제약 조건을 푸는 모듈이 자세 최적화를 수행합니다. 쉽게 말하면, 작업에 필요한 조건을 만족하도록 위치와 방향을 조정하는 과정으로 이해할 수 있습니다. 다만 어떤 조건을 사용하고 어떤 방식으로 계산하는지는 초록만으로 확인할 수 없습니다.

기하 경로는 실행 중의 변화를 따라갑니다. 이 경로는 실시간 RGB-D 관찰, 즉 색상 영상과 거리 정보를 함께 사용합니다. 형태 변화에 적응하는 신경망으로 기준 형태와 현재 관찰 사이의 대응 관계를 계속 갱신합니다.

여기서 대응 관계란, 기준으로 삼은 물체의 어느 부분이 지금 보이는 물체의 어느 부분에 해당하는지를 연결한 관계입니다. 이 연결이 유지되면, 작업에 필요한 접촉 지점을 새로운 관찰로 옮겨 잡는 방식을 다시 구성할 수 있습니다.

두 경로와 이를 연결하는 역할을 간단히 그리면 다음과 같습니다.

좌표만 따라가는 것과 잡을 부분을 따라가는 것

기하 경로는 단순히 물체의 위치 변화만 다루지는 않습니다. 초록은 물체의 움직임뿐 아니라 비강체 변형, 즉 물체 자체의 모양이 달라지는 상황에서도 실행 중 잡기를 재구성한다고 설명합니다.

천의 특정 부분을 잡는 상황을 생각해 봅니다. 천이 구겨지면 그 부분이 공간에서 차지하는 위치가 달라집니다. 처음 정한 공간 좌표를 그대로 사용하는 것과, 처음 잡으려던 천의 부분이 어디로 이동했는지 찾아내는 것은 다른 문제겠지요.

DualManip의 설명은 후자에 가깝습니다. 기준 형태와 현재 관찰 사이의 대응 관계를 갱신하고, 그 관계를 이용해 작업에 필요한 접촉 지점을 옮깁니다. 여기서 접촉 지점은 로봇이 물체를 잡기 위해 닿아야 하는 부분을 뜻합니다.

제 해석으로는, 이 접근의 핵심은 바뀌는 모양 속에서도 작업과 관련된 연결을 유지하려는 데 있습니다. 다만 초록에는 어떤 물체와 재질에서 대응 관계가 잘 유지되는지, 얼마나 큰 변형까지 처리하는지 세부 정보가 없습니다. 모든 부드러운 물체를 다룰 수 있다고 넓혀 읽기는 어렵습니다.

빠르게 고치는 경로에도 확인하는 장치가 필요합니다

두 경로를 나누는 것만으로 전체 설명이 끝나지는 않습니다. DualManip은 Information Interaction Module이라는 연결 모듈을 둡니다.

초록에 따르면 이 모듈은 의미 경로에서 파악한 작업과 대상의 연결을 바탕으로 초기 잡기를 설정합니다. 이후 기하 경로의 갱신을 검증하고, 갱신에 실패하면 의미 경로의 재계획을 요청합니다.

제가 흥미롭게 보는 부분은 마지막 역할입니다. 빠르게 대응하는 경로가 계속 작동하더라도, 그 결과가 유효하지 않다면 다시 판단하는 과정으로 돌아갈 수 있어야 합니다. 빠른 보정과 다시 생각하기 사이의 연결이 이 구조에서 중요하다고 봅니다.

다만 갱신 실패를 정확히 어떻게 판별하는지, 잘못된 갱신을 얼마나 잘 찾아내는지는 초록에 나와 있지 않습니다. 이 연결 모듈이 있다는 사실만으로 현장 안전이나 실패 감지의 정확성까지 입증됐다고 볼 수는 없습니다. 실제 적용을 살펴본다면 이 부분을 더 읽어보고 싶습니다.

약 46배라는 수치는 어디까지 말해 줄까요?

초록은 실제 환경에서 여섯 가지 조작 작업을 다뤘다고 설명합니다. 작업 범위에는 물체의 형태가 변하는 상황, 관절로 연결된 부분의 배치가 바뀌는 상황, 형태를 유지한 물체의 이동, 정밀 조립이 포함됩니다. 실험 조건은 정적인 상황, 한 번 변화가 생기는 상황, 변화가 계속되는 동적인 상황으로 나눴습니다.

저자들은 DualManip이 조작의 강건성, 즉 상황 변화에도 작업을 안정적으로 수행하는 성질에서 우수한 결과를 보였다고 보고합니다. 특히 장면이 계속 바뀌는 조건을 강조합니다. 다만 초록에는 개별 작업의 성공률, 비교 대상의 상세 구성, 반복 실험 횟수가 제시되어 있지 않습니다. 우수하다는 보고는 소개할 수 있지만, 개선 폭을 별도로 계산하거나 일반화하기는 어렵습니다.

속도는 구체적인 수치로 제시했습니다. 초록에 따르면 기하 적응은 에이전트 기반 검증과 의미 재계획보다 약 46배 빨랐습니다. 여기서 에이전트는 작업을 위해 판단하고 절차를 수행하는 AI 체계를 뜻합니다.

이 수치는 비교 범위를 함께 읽어야 합니다. 약 46배는 기하 적응과 검증·의미 재계획 사이의 속도 비교입니다. 로봇의 전체 작업이 약 46배 빨라졌다거나 생산량이 그만큼 늘었다는 뜻으로 옮겨 쓰면 안 됩니다.

초록만으로는 각 과정의 절대 소요 시간이나 전체 작업 시간에서 차지하는 비중을 알 수 없습니다. 저는 이 수치를 모든 과정을 같은 방식으로 처리하지 않으면 대응 속도를 개선할 여지가 있다는 의미로 읽습니다. 실제 생산성 효과는 별도로 확인해야겠습니다.

투자자로서 눈여겨보는 것은 판단을 동작에 연결하는 방식입니다

여기부터는 논문 결과 자체와 구분되는 저의 산업·투자 관점 해석입니다.

로봇 기업을 살펴볼 때 AI 모델이 무엇을 이해하고 어떤 작업을 계획하는지는 중요한 질문입니다. DualManip은 여기에 다른 질문을 더하게 합니다. 이해한 내용을 실행하는 도중 환경이 바뀌면, 그 기업의 시스템은 무엇을 유지하고 무엇을 다시 계산할까요?

매번 전체 판단을 반복한다면 대응 시간이 문제가 될 수 있습니다. 반대로 변화의 의미를 충분히 확인하지 않고 보정만 이어간다면, 더 이상 유효하지 않은 잡기를 유지할 가능성도 생각해 봐야 합니다. 저는 이 두 요구를 어떻게 연결하는지 살펴보는 일이 모델의 능력을 보는 것만큼 중요해질 수 있다고 봅니다.

그렇다고 이 논문 하나로 특정한 사업 모델이나 경쟁 우위가 입증되는 것은 아닙니다. 두 경로를 연결하려면 서로 주고받는 정보와 실패 처리 방식을 설계해야겠지요. 저는 이렇게 나누어 얻는 속도상의 이점과 추가되는 통합 부담을 함께 살펴봐야 한다고 봅니다.

실제 기업을 만난다면 다음과 같은 질문을 해보고 싶습니다.

• 작업의 목적은 유지한 채, 위치와 모양의 보정만으로 대응할 수 있는 변화는 무엇입니까?
• 빠른 갱신이 유효하지 않다는 사실을 어떤 근거로 알아차립니까?
• 다시 판단해야 하는 상황이 자주 발생하면 전체 작업 시간은 어떻게 달라집니까?
• 물체나 작업을 바꿀 때 대응 관계와 검증 방식을 얼마나 새로 준비해야 합니까?
• 사람의 개입, 작업 중단, 복구에 드는 시간을 포함해도 현장 운영에 이점이 남습니까?

이 질문들은 초록이 답한 항목이 아닙니다. 연구에서 제시한 구조를 실제 제품과 운영으로 연결할 때 제가 추가로 확인하고 싶은 사항입니다.

이 관점을 향한 가장 강한 반론도 있습니다. 의미 경로와 기하 경로를 나누어도, 기하 갱신이 자주 실패해 재계획을 반복해야 한다면 빠른 경로의 이점은 줄어들 수 있습니다. 전체 작업에서 다른 과정이 대부분의 시간을 차지한다면, 기하 적응의 속도 개선이 사업적으로 큰 차이를 만들지 못할 수도 있습니다.

다양한 변화 속에서도 빠른 갱신이 유효하게 유지되는지, 실패를 발견하고 복구하는 과정이 충분히 작동하는지, 최종적으로 사람의 개입과 작업 시간을 줄이는지를 함께 보고 싶습니다. 이런 근거가 쌓여야 구조적 아이디어를 사업적 강점으로 연결해 볼 수 있겠습니다.

핵심은 무엇을 유지하고 무엇을 다시 생각할지입니다

DualManip은 작업의 의미를 판단하는 경로와 물체의 변화에 대응하는 경로를 나누고, 두 경로 사이에 검증과 재계획 요청을 연결합니다. 초록은 지속적으로 변하는 장면에서의 조작 강건성과, 검증·의미 재계획 대비 빠른 기하 적응을 보고합니다. 그 결과가 어느 범위까지 적용되는지는 세부 실험을 더 살펴봐야 합니다.

제가 투자자로서 가져가는 질문은 이렇습니다. 이 로봇은 변화가 생겼을 때, 유지할 판단과 고칠 동작을 어떻게 구분할까요?

모델이 얼마나 잘 이해하는지와 함께, 그 이해를 변화하는 현장의 움직임으로 연결하는 방식도 살펴봐야겠습니다. DualManip은 그 연결 구조를 생각해 보게 하는 연구입니다.