Skip to content

专题 · Zero-WAM(2608.26103) 全文精读:ICL 人类视频任务规格

论文:✔ arXiv 2608.26103 · Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization(Robbyant + HKUST(GZ)/HKUST)
站点:https://robbyant-research.github.io/Zero-WAM/
这是真正名为 "Zero-WAM" 的论文 —— 不要把本项目里的 DreamZero(2602.15922) 当成它。
飞书:主文档下子文档


0 · 一句话

Zero-WAM = 把 LLM 的 in-context learning(ICL)范式整套搬到具身:用「人类视频」当任务规格(in-context prompt),让策略零样本地执行从未训练过的操作任务——无需任何参数更新、无需该任务的机器人数据。

与 DreamZero 的本质区别: - DreamZero 的"zero-shot"靠世界先验 + 条件化,跨本体仍要 post-training(梯度)。 - Zero-WAM 才是真 ICL:跨任务泛化靠部署时给一段人类视频,训练时不需见过该任务,完全不更新参数。


1 · 问题:零样本跨任务泛化

  • 具身核心挑战:策略要执行训练中没见过的任务,只用部署时可获得的信息。
  • ICL 视角:LLM 里新任务只要在上下文里指明即可、不更新权重 → 泛化变成"任务规格化(task specification)"问题。
  • 关键主张:对操作来说,自然的任务规格不是语言,而是人类视频 —— 它提供丰富的视觉线索,表达任务如何一步步演化。

2 · 方法

2.1 架构:因果视频-动作模型

  • 输入:当前/历史观测 + in-context 人类视频 prompt(或语言指令)
  • 输出:预测未来机器人视频 + 可执行动作
  • 视频模型(Wan-2.2 初始化)+ 动作模型 联合。

2.2 HumanGen:自动构造人类-机器人 ICL 数据集(核心贡献)

难题:任务丰富的配对 human-robot 数据极稀缺。 解法:一个自动流水线,把"按任务采样的机器人轨迹"转成"语义匹配的人类视频",产出 HumanGen:74.2K human-robot ICL 对 / 8.6K 任务。

2.3 IFP 目标(in-context future chunk prediction)

  • 标准 next-chunk 预测常只靠局部机器人历史就能解(尤其见过的任务)→ 学到"捷径"。
  • IFP:从当前机器人视频表征监督多个 strided 的未来块,逼策略从人类视频 prompt 提取任务演化信息,抑制捷径。

2.4 训练数据

  • Task-diverse VA(video-action)预训练语料 + HumanGen ICL 对。

3 · 结果

  • RoboTwin 2.0 仿真:7 个未见任务平均 46.95%,比最强 video-action 基线(LingBot-VA)+29.5 绝对点。
  • 消融(Figure 5):逐个任务成功率,Zero-WAM 全面显著高于 WAN-Action / Lingot-VA / w/o pretrain。
  • 真实世界(人类视频引导):
  • 三物体顺序操作:33.3% vs 基线 10.0%
  • 双桌腿细插入:Zero-WAM 成功(基线 0)—— 人类视频比语言更可靠地传达细粒度任务规格

4 · ★ "ICL 这件事说明了什么" —— 本论文的完整论证

这是对上一轮"ICL 之辨"的升级回答(之前用 DreamZero 误答,现在用真正的 Zero-WAM):

4.1 Zero-WAM 证明了 ICL 在具身的可行性路径

  • ICL 不是 LLM 专属:把"任务 = 上下文"的抽象搬到操作,用人类视频作天然任务接口,可行。
  • ICL 的低数据红利:只需部署时一段人类视频,无需该任务机器人数据/参数更新 → 这正是数据稀缺具身最需要的。

4.2 但 ICL 在具身的数据要求是"配对"而非"海量原生"

  • 关键:HumanGen 是 74.2K 对(paired) 的 human-robot 数据 —— ICL 的燃料是"人类视频 ↔ 机器人轨迹"的语义配对,不是随便多少人类视频。
  • → 你的「配对金标准(E)」数据哲学在此得到正面印证:ICL 式具身泛化的前提是"跨本体语义对齐配对数据"。

4.3 ICL 在具身的特定任务 = 任务规格化

  • IFP 目标的设计(抑制捷径、逼从视频提取任务)说明:ICL 在具身的难题不是"会不会多任务",而是"真从上下文拿任务信息,而非抄训练捷径" —— 与 LLM ICL 的 shortcut 问题同构。

4.4 一句话总结

Zero-WAM 证明:ICL(人类视频作 in-context 任务规格)能让具身零样本地跨任务,且不需参数更新;它把泛化变成"任务规格化"问题,把数据要求变成"人类-机器人语义配对(paired)"。这既回答了 ICL 在具身可行,也划定了它的前提——它是一枚「配对金标准数据」的强证据。


5 · 与其他文件的咬合

  • 与 DreamZero(2602.15922):同是 WAM,但立场相反——DreamZero 靠预训练世界先验+条件化(跨本体要梯度),Zero-WAM 是真 ICL(跨任务靠 in-context 视频,0 参数更新)。两者合起来:"世界先验(预训练) × ICL(任务接口)" 是两个正交杠杆。
  • 与 EgoVerse/人 EGO:都主张"人类视频是可扩展任务信息源";Zero-WAM 更进一步要配对human-robot。
  • 与数据×训练:HumanGen = "如何把稀缺配对数据用自动管线放大(74.2K)" —— 正是"数据供给"里配对金标准(E)的工程化。

6 · 局限(分析补)

  • 聚焦桌面 tabletop 操作;移动/长时间跨任务未深入。
  • 依赖 HumanGen 的语义匹配质量(自动管线转换可能引入不完美对齐)。
  • 绝对成功率仍有限(尤其细插入),"video prompt → 精确动作"仍难。
  • 未与"无需任何数据"的说法对标——仍是 74.2K 预训练 + 8.6K 任务的支撑。

7 · 口径

Zero-WAM(2608.26103) 把 LLM 的 ICL 带入具身:以"人类视频"作部署时 in-context 任务规格,策略零参数更新地执行未见任务;用自动管线把机器人轨迹转成语义匹配人类视频得到 HumanGen(74.2K 对/8.6K 任务),并用 IFP 目标抑制捷径逼模型真从视频取任务信息;RoboTwin 7 未见任务 46.95%(+29.5pt),真机完成细插入等未见配置。它是"ICL 具身化"与"配对金标准数据"的强证据。

8 · 关联

DreamZero(区分) · EgoVerse(人数据) · 数据×训练(配对E) · EgoWAM(世界表示) · ovideo-action 基线(WAN/LingBot)