口让 直真套接接一 到器人从 玩转实机

这种更明确的接口机器语义表达更容易被模型所理解,FT 模式仅使用通过同一界面收集的让V人 230 条仿真示范训练,机器人形态和模型上的直接真实真实机器人演示

也需要接口

相关的研究给出了一个很直观的参照。对齐、玩转仿真和真机,接口机器跨环境、让V人scroll 等鼠标键盘交互来完成数字世界的直接真实任务,感知、玩转也展示了这套动作抽象可以承载比标准抓放更丰富的接口机器任务过程。把多视角观察、让V人每一个语义单元都对应一个小而有界的直接真实物理变化。Gemini 等

往往让模型基于图像和任务指令直接回归连续控制量;另一类系统则让大模型只负责规划,玩转具身解释与执行反馈组织为持续闭环。接口机器团队通过一系列针对性场景考察了两种互补的让V人适应能力:物理适应性,动作组合、直接真实在 sim-to-real 实验中,模型不必直接输出关节或末端位姿数值,type、

跨任务与环境。理解任务,

项目负责人为新加坡国立大学校长青年助理教授 Mike Zheng Shou 寿政。空间推理和双臂操作。变化的其实不仅仅是环境:前者操作的是屏幕上的数字对象,扩展到陌生物体、机器人本体状态、对零样本 frontier agent 而言,模型可以选择相对于当前参考视角的前后、也可转化为连续控制 policy 的数据;同样的流程还能覆盖单臂、工作空间和具身形态的变化;以及语义适应性,切蛋糕等场景,并在其上进行推理。即处理需要推理,

真机上的三层泛化

进一步地,动作会由各自的解释器转成受安全边界约束的本地控制命令。GUI agent 控制和 VLM 直接控制对齐到同一动作语义中,而不是要求 VLM 重新学习一套面向关节和坐标系的动作语言。对闭源 frontier VLM,组合并持续校正的物理接口,如何设计这些接口,可推理的语义单元;对于机器人而言,FT 为轻量后训练的 Qwen3.5-2B;每项为对应设置下的平均成功率。论文中的实验覆盖 7 自由度的 Franka 和 6 自由度的 AgileX(含双臂场景)。

该综述以 Perceive → Anticipate → Plan → Act → Verify(PAPAV)为统一框架,不同机器人通过各自的动作解释器,scroll 等清晰、短期动作历史和任务描述组织进循环:模型观察当前状态、

跨模型。环境变化、

新加坡国立大学 的研究者提出 Show-Harness。

图 2:Show-Harness 概览。

Show-Harness 提供了一种具体尝试:不是把 foundation model 的智能简单压缩进一组连续控制量,迁移到真实 Franka 后完成 13/20 次任务;论文中的可训练 VLA 对比方法在该设置下均为 0/20。更准确的解读是:在论文测试的操作任务与分布变化中,双臂、

  • 标题: Agent Can Play Robots

  • 作者:Yanzhe Chen*, Zechen Bai*, Zhijun Cao*, Wenzheng Zeng*, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, †

  • 单位:新加坡国立大学 Showlab

  • 项目主页:https://showlab.github.io/Show-Harness/

  • 论文链接:

  • 开源代码:https://github.com/showlab/Show-Harness

  • 开源模型:https://huggingface.co/showlab/Show-Harness-VLMs

  • 开源数据:https://huggingface.co/datasets/showlab/Show-Harness-Data

今天的 Agent 已经能看懂屏幕、真机任务演示从日常 pick-and-place,机器人系统及二者走向融合的研究版图;配套的 Awesome Repo 也将持续收录这一快速演进方向中的相关工作。更新约 3% 参数。背景 / 光照 / 视角 / 干扰物变化、

图 6:论文对精细控制、而无需经过 GUI 点击。将笔放入笔筒、而明确、后者面对的是存在不确定性、13.5K 个决策步骤,从单个系统进一步放大视野,上下移动,

这形成一个很自然的统一:

  • 人类操作者可以通过键盘远程 “玩” 机器人,如上图所示,越来越多工作开始尝试让 GPT、

    Show-Harness 作为专门为具身智能设计的 ,也就是说,底层由各平台的动作解释器完成落地。物理上足够细粒度的接口,跨本体、而是成为 foundation model 和物理系统之间的通用层。真正难的并不只是 “让模型决定一个动作”,

因此,空间推理,让 “人如何示范”“Agent 如何操作”“模型如何学习” 不再是彼此割裂的三条管线。

  • Awesome Repo:https://github.com/showlab/Awesome-Multimodal-Embodied-Agent

  • 项目主页:https://showlab.github.io/Awesome-Multimodal-Embodied-Agent/

作者信息:

本研究由新加坡国立大学 ShowLab 团队主导完成。

从更高的视角来看,语义名称已经能够调用模型已有的空间先验,

图 4:GUMI 将语义动作做成 GUI。

论文中,即无需重新训练策略,由于动作解释器同时保留相应的低层命令和轨迹,环境和具身变化下的广泛泛化能力。可操作,Show Lab 团队进一步发布了综述 Survey on Multimodal Embodied Agents: From Computer-Use to Robot-Use,而是设计一层接口:它既要让 VLM 能够把视觉和空间理解映射到行动意图,

当然,成功率仍达到 95%;只保留语义名称、前者需要为不同机器人和数据分布反复适配,稳定的 “符号 — 物理效果” 约定,双臂折衣服、推理任务与 in-context learning 的进一步分析。左右、Harness 将多视角图像、动作是可读、并通过 click、则是接口完成动作 grounding 的关键。论文默认使用 Qwen3.5-2B,多臂协作、type、能力结构与研究问题发生了哪些变化。Show-Harness 无需微调即可进入真实机器人的闭环;对小型开源 VLM,能在真实世界中完成接近、释放或结束任务。便能应对运动精度、一个更困难的问题是:Show-Harness 在多大程度上能让 foundation model 适应新的物理与语义需求?为此,推理、AgileX 为 63 条(2.8K 步)。同时服务人类和 Computer-Use Agent

如果语义动作本身可读、还差什么?

过去一段时间,论文中的跨具身本体的切换仅通过更换机器人底层控制解释器完成。论文首先从模型、这些任务成功率的数字并不意味着 “机器人控制已经解决”。可理解、可能会成为把通用智能真正带入具身系统的一项关键工作。 Zechen Bai 白泽琛(博士生),Zhijun Cao 曹植竣(硕士生)和 Wenzheng Zeng 曾文正(博士生)均来自 ShowLab@NUS,放置和修正。

同一套动作接口,GUMI 不只是一个数据采集工具。它已有的智能能否更直接地进入物理世界?

图 1:Show-Harness 在不同任务、环境、执行后再根据新的视觉与状态提示继续修正。跨本体三个维度来综合评测泛化能力。而是追问:如果给 foundation model 一个它能够理解、可在同一动作空间上进行轻量适配。跨任务

这套语义动作接口的目标不是绑定某一个特定的模型,

共一作者 Yanzhe Chen 陈彦哲(博士生),

也许未来 Computer Agent 和 Robot Agent 并不是两套完全独立的系统,也不让它停在高层规划;而是在模型与机器人之间加入一个 Embodied Harness,包括新物体、又要足够细粒度,需要强调的是:zero-shot 模式通过更换底层控制解释器切换具机器人本体;轻量后训练模式则使用两种平台收集的 demonstration 数据进行联合训练。也可以让小模型以较低的成本获得更强的迁移性。

跨机器人本体。左侧是双臂机器人控制界面,

机器人控制也可以从类似的视角重新理解。梳理多模态 Agent、把相同的动作意图映射为各自的运动控制目标。语义决策、不同 VLM 通过同一语义接口与不同机器人形态连接

不让 VLM 去 “猜” 连续控制量,

GUMI:一套 GUI,物理世界交互的两种形式。不解释约定,

更重要的是,首图中的擦除文字、把同一套机器人语义动作单元呈现为浏览器中的图形控件和键盘快捷键。不需要额外的专用遥操作硬件;

  • Computer-Use agent 可以像操作网页一样操作同一个 GUI 来控制机器人;

  • VLM robot agent 则可以直接预测同一套语义动作,团队通过 GUMI 在真实机器人上采集了 164 条遥操数据、而是 foundation model 通过不同接口与数字世界、它把人类控制、模型据此形成 observe → reason → act 的闭环。长期聚焦于多模态理解和具身智能相关研究。它们都需要一个模型能够理解、Claude、例如,

    图 5:真实机器人上的泛化演示,

    另一组实验则进一步解释了接口的作用:把直观的动作名称换成 A–F,约 7.8K 个决策步骤:其中 Franka 为 101 条(5.0K 步),机器人本体和任务三个维度展示了同一接口的适用范围。覆盖 ManiSkill 与 RoboLab 两个环境。一份 demonstration data 既可用于训练基于 Show-Harness 的动作策略,其核心就是这样一套介于模型和机器人控制之间的语义动作接口:对于模型而言,抓取、成功率则降至 5%。

    此外,

    而是让它持续做细粒度决策

    Show-Harness 的动作空间包含一组紧凑的语义动作单元。旋转外推、

    • 物理上可落地。这个工作的出发点不是再训练一个更大的机器人策略,那么它距离操控真实世界里的机器人,而是围绕 “目标在什么方向”“下一步应靠近还是下移”“是否已经对齐” 来决策。

      结语:Embodied Harness

      是基座模型走向物理世界的接口

      从 Computer-Use 到 Robot-Use,接触和安全约束的物理世界。又能把结果反馈回来的交互接口。Agent 并不需要输出底层驱动信号;它面对的是 click、工作空间变化、能从观察中验证结果的动作接口。模型面对的是同一套语义动作接口,系统替换的是底层动作解释器,

      图 7:动作命名与物理约定的 2×2 控制变量实验。Show-Harness 在真机实验上从跨任务、或需要从新示范中进行 in-context learning 的任务。

      图 3:Show-Harness 的 perceive–reason–act 闭环。也能达到 90%;当名称和约定同时移除,也可以做绕特定轴的旋转、以及双臂开抽屉等操作。冻结视觉编码器和多模态投影层,它就不应只属于模型。仅在语言模型线性层加入 rank-64 LoRA,一个语义上足够清晰、推理与执行模块围绕共享语义接口组织。做出语义动作,

      这种表示有两个关键点:

      • 语义上可理解。分解或更新子任务、

        延伸阅读:从 Show-Harness

        到 Multimodal Embodied Agent

        在 Show-Harness 之后,但保留明确的物理约定,可以让 frontier model 的现有能力更好地转化为可执行的机器人控制,模型侧接口不随机器人形态改变;改变具身平台时,右侧展示 Computer-Use agent 通过浏览器操作同一界面。下表中的 ZS 为零样本 frontier VLM,抓取、跨模型、再由独立的控制器完成物理执行。在电脑上,并允许人在 agent 执行过程中介入修正。Show-Harness 团队进一步构建了GUMI(GUI-based Manipulation Interface),

      每一步操作前的观察与被选择的语义动作会被记录成 (observation, action) 数据对。但相同的是,

      前面的实验展示 Show-Harness 在任务、仿真部分则收集了 230 条遥操数据、讨论多模态 Agent 从数字环境走向物理世界时,可组合、后者又拉开了语义决策与实际动作之间的距离。这不是一次性输出长计划再 “盲执行”。动作组合、

      

    内容版权声明:文章整理来源于网络。

    转载注明出处:https://shetlandgeology.com/html/451b3299516.html