Skip to content

数据集路线 R1 · 判据实验 v0 设计

定位：A 蓝本"轴心对照实验(纯被动ego / 标注ego / 翻译引擎产物)"的最小可行第一炮，改用企业级 EgoSuite-Open100K 子集作大规模人数据源，跑通"人数据→(引擎补标注)→目标本体"迁移收益的量化判据。 可证伪、资源可控、链条完整(采集→标注→retarget→训练→评测闭环)。

0 · 命题（一句可证伪假设）

H0：用企业级 ego 数据(EgoSuite) 经自动标注引擎(EgoInfinity 式)补到 L4，其训练收益可达真机遥操基线的 ~80%，且随数据量呈现 log-linear 缩放。 可证伪：若引擎补标注的 ego 在 3 倍数据量下仍 <60% 真机基线，则"纯堆人数据"不成立，瓶颈在标注/对齐引擎(落在 L2/L3)——正呼应蓝本核心命题。

1 · 实验目标

量化 "人数据 → 可训练动作" 的迁移收益，回答 R1 的核心问题： - 企业级 ego 数据(EgoSuite) 是否真的到了可直接训动作的程度（L3/L4）？ - 自动标注引擎(EgoInfinity/Open-AoE) 补出的 L4，相对真机遥操折损多少？ - 随数据量是否呈现与 EgoScale(20,854h log-linear) 一致的缩放律？

2 · 变量设计

自变量（2 个） - 监督源（轴心 3 臂）：A 纯被动ego(原始视频/视觉先验,动作交算法) / B 标注ego(引擎补出 4D手物+retarget 动作,到L4) / C 真机遥操(目标本体金标准)。 - 数据量（2–3 档）：50 / 200 /（1000 视资源）条示范 → 看缩放。

控制变量：同一任务、同一策略骨架(潜动作VLA)、同量数据、同评测尺、同目标本体。

因变量（3+1） 1. 目标本体真实部署成功率（主指标） 2. 迁移收益比 = B/C 成功率（量化折损） 3. 物理可信：接触/抓取/掉落成功率(与 R6 触觉横切挂钩) 4. 缩放斜率：多档数据量拟合 log-linear(呼应 EgoScale)

3 · 数据与工具链选型

  • 数据源：EgoSuite-Open100K(光轮,10万h) —— 取与选定任务相关的子集(如"倒水/取放"类, 50–1000 段)。⚠ 标注层次黑盒 → 本实验顺带做"实测 L0–L4"。
  • 自动标注引擎（两套对照）：
  • EgoInfinity (2606.17385)：web 4D 手物(感知/分割/重建/接触约束)+motion retarget → 到 L4。主引擎。
  • Open-AoE (2607.14183)：手机众包全管道(文本+MANO+轨迹+原子动作+retarget) → 作对照/补多模态。
  • 目标本体：低gap双臂(EgoMimic 式,社区可复现) 或 单夹爪 —— 第一阶段先在低成本本体/仿真跑通，再上真机。
  • 策略骨架：潜动作 VLA(对齐 GO-1/π0 的 latent action,复用 R5)。

4 · 实验流程（5 步闭环）

  1. 子集采样：从 EgoSuite 挑任务 T 相关子集(50/200/1000)，标注 L0–L4 实测。
  2. 自动标注/补全：B 臂跑 EgoInfinity(4D手物+retarget)→L4 动作；A 臂只留原始视频。
  3. 训练：三臂各自用潜动作 VLA 训到收敛(same budget)。
  4. 评测：目标本体真实部署(或先 sim)→成功率/接触/缩放。
  5. 判据裁决：对照阈值表(下节)，输出"接受/拒绝 H0" + L2/L3 瓶颈定位。

5 · 判据 / 决断阈值

指标 阈值 判读
迁移收益比 B/C ≥80% H0 成立:企业ego+引擎≈真机,供给有效
迁移收益比 B/C 60–80% 部分成立:可用但需更多量/更准引擎(标 L2/L3 可改进)
迁移收益比 B/C <60% @3×数据 H0 拒绝:瓶颈在标注/对齐引擎,不在堆量(印证蓝本核心命题)
缩放斜率 B 呈 log-linear 企业ego有缩放律,可外推(复用 EgoScale 判据)
物理可信(接触) B 相对 C 缺口 定位 R6 触觉/接触补丁的价值

6 · 风险与缓解

  • EgoSuite 黑盒：细粒度未公开 → 先做"子集实测 L0–L4"，把 ⚠ 填实(本身就是 R1 产出一)。
  • 引擎噪声/伪影：EgoInfinity 重建有 drift → 用 Open-AoE 全管道作对照臂, pin 主结果。
  • sim2real：先 sim 跑通(低成本验逻辑),再低成本本体真机验(≤方案成本上限)。
  • 任务偏窄：单任务先验证机制,结论标注"单任务,外推需多任务"。

7 · 与主线/后续衔接

  • 承接 A 蓝本"轴心对照"第二步 → R1 v0 是轴心实验第一炮(首任务)。
  • 后续：R5‑A4 裁决(统一动作空间×OT) 与本实验的 B 臂共用引擎产物 → 一次采样、两次裁决。
  • R6 触觉：WIYH 的 VLTA + HRDexDB 接触力作"物理可信"补丁臂。
  • 产出物：L0–L4 实测(补 8 集对照) + 迁移收益曲线 + 引擎选型结论。

8 · 最小可行范围(先跑通,不贪多)

  • T=1 任务（如"倒水"或"取放"）、本体=低成本、首次在 sim 闭环。
  • 三臂 × 2 档量(50/200)=6 组,先于真机。
  • 目标：先拿到"B 是否到 80%/log-linear 是否存在"的信号,再决定是否放量到多任务+真机。