专题 · 具身智能自动标注（精读 · 配图 · 洞察 · 落地方案）
性质：调研洞察专题（不本机实跑）。每篇含：问题/方法/证据/图/insight/落地选型。
飞书：主文档下子文档（单专题）。
核验：arxiv abs/html + 项目图；id 均已对 arXiv。
0 · 问题与分类量尺
0.1 为什么「自动标注」是具身数据的胜负手
具身训练要的是 可执行监督（动作/接触/相/空间），不是更多无标签视频。人工标 L2–L4 贵且慢；市面论文的共识是：把人视频 / 真机演示 / 仿真资产 自动抬到结构化标签，才能接上 VLA/IL/WAM。
0.2 自动标注的四条技术路线（本专题坐标）
| 路线 | 输入 | 自动产出 | 代表 |
|---|---|---|---|
| E1 人视频→4D/动作引擎 | 任意/ego RGB | 手物 4D、轨迹、retarget 关节 | EgoInfinity · RoboEdit-ADC · EgoEngine |
| E2 采集+工具链结构化 | 手机/头戴连续采集 | 文本+MANO+轨迹+原子动作 | Open-AoE |
| E3 真机演示→空间/相标注 | 机器人 demo | bbox/轨迹/操作相 + 可靠性 | SPARC |
| E4 仿真/资产→可操作标签 | 裸 3D 资产 | 语义、交互点、可执行 manip 标签 | AnnotateAnything |
| E5 视频运动理解自动策展 | 通视视频 | 轨迹+运动语言/推理语料 | FoundationMotion |
| （对齐相关） | 人+机异构数据 | 潜空间对齐/共训 | EgoBridge（标注的是共享表示，不是帧标签） |
映射 L0–L4：自动标注引擎的价值 = 把数据从 L0/L1 推到 L2–L4 的边际成本。
1 · 逐篇精读
1 · EgoInfinity（2606.17385）· E1 网页级 4D 引擎
问题：互联网人操作视频最大，但 RGB→可训机器人数据是瓶颈；静态实验室集规模/多样性不够。
方法：模块化 4D 手–物数据引擎 = 感知 → 分割 → 重建 → interaction-aware refinement → retarget；跨模块度量校准，降纯视觉重建的漂移与接触不一致；任意视角/景别可 retarget 到多形态机器人。
产出：agent-agnostic 度量 4D 表示（手轨迹、物体 6D、接触相关状态）+ 可执行关节轨迹。
证据：感知保真、运动学可行、接触一致性、跨本体、真机技能（抓/切/擦/倒）。
Insight
- 不做「又一个数据集」，做 可持续升级的引擎（模块可随 SOTA 替换）——供给哲学上接近「标注即基础设施」。
- L4 来自 retarget，不是人工关节标；物理可信仍受重建上限约束（与工业 F/T 协议正交）。
落地选型
- 适用：已有大量无标签人视频，要批量出 跨本体动作候选。
- 前提：接受「重建噪声」；应用 HRDexDB/小真机集做 校准门。
- 不适用：亚毫米力控装配（走 ManuFacet 类协议）。
2 · RoboEdit + RoboEdit-ADC（2608.18948）· E1 人→机视频编辑 + 自动 3D 状态
问题：真机 HOI 贵且绑定本体；海量人–物视频不能直接训机。
方法：
- RoboEdit-ADC：RGB→重建/重定向 3D 交互的自动管线，跨本体。
- 生成 RoboEdit-14M：174K 对齐视频对 / 14M 帧 / 7 本体。
- RoboEdit-Trans：编辑引擎（LoRA+residual adapter）+ 3D Robot-State Decoder 恢复状态。
关键：显式强调 action-consistent、物理可置信视频 + 对齐 3D 手状态——监督是「视频+状态」双通道，不是只换皮。
Insight
- 自动标注的产品形态可以是 「成对人机视频语料工厂」，直接喂视频生成式世界模型/VLA。
- ADC 把「标 3D 状态」从人工动捕里解放；质量上限仍在重建与物理可置信编辑。
- 与 EgoEngine 同属 E1，但 RoboEdit 更偏 视频编辑+大规模成对语料，EgoEngine 更偏 高保真灵巧示范转换。
落地选型
- 适用：要 视觉域对齐的人机成对数据（sim/real 视频策略、视频 IL）。
- 落地步骤：选 1–2 目标本体 → 跑 ADC 子集 → 人工抽检接触帧 → 再全量。
- 风险：编辑伪影导致 假成功轨迹；需 H2R-Bench 类质检或真机回放抽测。
3 · Open-AoE（2607.14183）· E2 开源 ego 采集+标注工具链
问题：ego 人操作可规模，但缺「低成本连续采 + 操作级结构化标注 + 可复用训机工具」一体。
方法：手机众包全链路——采集到训练；标注含 文本 + MANO + 相机轨迹 + 时间定位原子动作；带 cross-embodiment retarget 与 VLA/WAM/WM 配方。
规模口径（既有核验）：约 2000h、500+ 贡献者、400+ 手机。
Insight
- 自动/半自动标注不必从野视频开始；采集协议与标注工具链绑死 往往更稳（L0 校准在）。
- 在 L0–L4 量尺上 Open-AoE 是 学术侧「层次最全」的操作型 ego 集+工具（对照 8 集表）。
落地选型
- 适用：从零建 社区/众包 ego 供给。
- 落地：先复用其标注定义（原子动作+MANO）作内部标准，再决定是否采用其 App/工具。
- 与 EgoInfinity 组合：Open-AoE 管「高质量结构化」，EgoInfinity 管「野视频放量」。
4 · EgoEngine（2606.12604）· E1 Danfei 线「翻译引擎」
问题：灵巧示范贵；ego 人视频要同时跨 视觉 gap 与 动作 gap。
方法：输入 ego RGB → (i) 高保真机器人观测视频（换人保机、场景与时间对齐）(ii) 任务对齐、可行约束下的可执行动作轨迹。
定位：数据引擎，不是静态集；sim + 真机显示可规模把人视频变成机数据。
Insight
- 与 EgoScale「在人动作空间 pretrain」不同：EgoEngine 直接 出机器人域示范（翻译），EgoScale 出 人域 prior。
- 蓝本 L3「翻译/补全」层的代表作；和 RoboEdit 构成「翻译引擎」双峰（灵巧保真 vs 大规模成对编辑）。
落地选型
- 适用：已有目标本体数字孪生/外观模型，要把 同任务人视频 批量机域化。
- 前置：任务定义清晰 + 可行性约束（碰撞/关节限）可检。
- 后接：少量真机 mid/post（EgoScale 配方）校准。
5 · AnnotateAnything（2606.17446）· E4 仿真资产自动标
问题：仿真可放量，但裸 3D 资产只有几何，缺语义/交互/物理知识，无法规定 在哪、怎么操作。
方法：两路互补——
1. VLM 视觉–语言标注：语义、交互约束、3D-grounded cue；
2. （框架）把被动资产变成 manipulation-ready，带结构化、多样、可执行 manip 标签。
Insight
- 自动标注不只服务「人视频」；仿真供给的瓶颈常在资产标签，不在物理引擎。
- 与哲学 C（NVIDIA 合成）合流：合成小时数 × 可执行标签完备度 = 有效仿真数据。
落地选型
- 适用：自有/采购大量 CAD/扫描件，要进 Isaac/自定义 sim 做操作数据。
- 流程：资产入库 → AnnotateAnything 类自动标 → 人工抽检交互点 → 轨迹合成。
- 风险：VLM 幻觉交互点；需物理仿真回放过滤。
6 · SPARC（2606.13497）· E3 真机 demo 空间标注 + 可靠性
问题：真机演示可自动出 bbox/物体轨迹/操作相，但 无可靠质量信号；检测器 confidence 与标注正确性校准差。
方法：SPARC = 自动结构化空间标注 + 每条标注 reliability score（risk-aware）。服务策略、具身基座、规划、层次任务。
Insight
- 自动标注产业级关键：不是「能不能标」，是 能不能知道哪些标能信。
- 与 ManuFacet「失败保留」同族思想：质量门与飞轮，而不是全量盲信。
落地选型
- 适用：已有大规模真机遥操/IL 日志，要补 物体中心空间标签 训 grounded VLA。
- 落地：阈值 reliability 阈值 → 低分进人工/重标 → 高分进训练。
- 与 E1 组合：人对齐引擎出候选，SPARC 式可靠度用于 真机侧。
7 · FoundationMotion（2512.10927）· E5 运动自动策展
问题：运动理解缺大规模细粒度数据；人工标运动不可扩展。
方法：全自动策展——检测跟踪 → 轨迹；轨迹+帧喂 LLM 生成运动相关监督，构大规模运动数据集，支撑空间运动推理。
Insight
- 偏 通视运动基础语料，不直接出机器人关节；但对世界模型/物理推理 pretrain 有杠杆。
- 与 EGO 操作标注不同：它标的是 运动语言/轨迹语义，属 L1–L2 运动层。
落地选型
- 适用：要增强 VLM/世界模型的 动力学/轨迹推理 再接到操作。
- 不单用它当 L4 动作源。
8 · （对齐相关）EgoBridge（2509.19626）· 表示层「标注」
问题：ego 人数据与机在外观/模态/运动学上 gap 大。
方法：统一共训框架，显式对齐人机策略潜空间（domain adaptation / OT 类思想在蓝本中定位）。
Insight
- 严格说不是帧级自动标注，而是 把异构数据标到可共训的共享表示。
- 与 E1 引擎互补：引擎出 L4 候选；Bridge 出 可共训坐标。R5/A4 实验的文献锚。
2 · 横向深度洞察
I1 · 自动标注 = 三件事，不要混为一谈
- 几何/4D 重建（手物轨迹）
- 可执行动作合成（retarget/可行约束）
- 质量门与可靠性（SPARC、失败保留、物理检查）
只做 1 不做 2/3，会得到「看起来像标注的噪声」。
I2 · 源决定引擎，引擎决定天花板
| 源 | 优先引擎 | 天花板 |
|---|---|---|
| 野视频/互联网 | EgoInfinity / RoboEdit-ADC | 重建与物理可置信 |
| 可控众包 ego | Open-AoE | 组织与标注规范 |
| 目标本体外观已知 | EgoEngine / RoboEdit | 视觉 gap 可关 |
| 真机日志 | SPARC | 可靠性校准 |
| 仿真资产库 | AnnotateAnything | VLM 幻觉与可执行性 |
I3 · 与 EgoScale 缩放律的关系
EgoScale 证明 有标签人运动 可 log-linear；自动标注引擎的战略意义 = 把无标签海量源便宜地变成「有标签人运动/机运动」，从而让缩放律的横轴可外推。
引擎误差会 弯折 缩放曲线——故需 reliability 与真机 mid（4h 级）锚定（EgoScale 配方）。
I4 · 与工业力协议（ManuFacet）正交
自动标注主流是 视觉–几何–动作；精密力/接触相 几乎不在 E1–E5 默认协议内。
落地若目标含插入/旋盖高接触：自动标注出 IL 先验后，仍要 力同步真机 或触觉补丁。
I5 · 「数据引擎 > 静态数据集」正在成为发文范式
EgoInfinity / EgoEngine / RoboEdit / AnnotateAnything / FoundationMotion 都是 pipeline 论文；Open-AoE 是 集+链。评论文时看：模块是否可替换、是否开源、是否有质量门、是否报有效小时/帧与失败模式。
3 · 落地方案（调研向实施蓝图）
目标：团队要建「自动标注能力」时的 选型与阶段，非本机训练手册。
阶段 A · 定义标签合同（1–2 周）
- 选定目标本体与任务族（桌面灵巧 / 移动操作 / 工业接触）。
- 写下 标签合同：必须字段（腕 SE3 / 关节 / 物体 6D / 相 / 语言 / 力？）。
- 映射到 L0–L4：最低可训门槛（建议至少 L2+可 retarget 或 L4 候选）。
阶段 B · 双轨数据源（并行）
| 轨 | 动作 | 工具候选 |
|---|---|---|
| B1 可控高质量 | 手机/头戴按 Open-AoE 规范采 100–500h | Open-AoE 工具链 |
| B2 放量 | 内网/公开人操作视频 | EgoInfinity 或 RoboEdit-ADC |
阶段 C · 引擎与质检（核心）
- 跑通 小规模金标准（100 段人工/动捕）作校准。
- 引擎产出 vs 金标准：轨迹误差、接触帧成功率、retarget 后仿真/真机可执行率。
- 上 reliability（SPARC 思想）：低分隔离。
- 若需机域视觉：EgoEngine/RoboEdit 出成对视频，抽检伪影率。
阶段 D · 接入训练配方（对齐 EgoScale）
- 大规模自动标注人/机数据 → pretrain。
- 少量对齐 mid（同构相机 + 极少真机）。
- 任务 post；接触任务加力/触觉子集。
阶段 E · 仿真侧（可选）
资产库 → AnnotateAnything → 轨迹合成 → real2sim 校准；与真机/人数据混训。
决策树（一页）
源是什么？
├─ 野视频 → EgoInfinity / RoboEdit-ADC → 质检门 → 是否需要机域外观？
│ ├─ 是 → EgoEngine/RoboEdit-Trans
│ └─ 否 → 人动作空间 pretrain (EgoScale 式)
├─ 可控制采集 → Open-AoE 规范
├─ 已有真机包 → SPARC 空间+相+reliability
└─ 仿真资产 → AnnotateAnything
精密力控？ ──是──→ 另建力同步协议（ManuFacet 谱系），自动标注只作先验
组织与成本（洞察）
- 最贵的往往不是 GPU，是 金标准与质检人力；自动标注把边际标注成本压下，但固定成本转移到引擎维护与校准。
- 开源优先顺序建议：Open-AoE（规范）→ EgoInfinity/RoboEdit（放量）→ SPARC 思想（门禁）→ 仿真 AnnotateAnything。
4 · 论文一览表
| 论文 | id | 路线 | 一句话 | 核验 |
|---|---|---|---|---|
| EgoInfinity | 2606.17385 | E1 | 网页 RGB→4D HOI+retarget 引擎 | ✔ |
| RoboEdit | 2608.18948 | E1 | 人视频→机视频+3D 状态；ADC+14M | ✔ |
| Open-AoE | 2607.14183 | E2 | 众包 ego+全工具链到 L3/retarget | ✔ |
| EgoEngine | 2606.12604 | E1 | ego→高保真机示范+可行动作 | ✔ |
| AnnotateAnything | 2606.17446 | E4 | 裸 3D 资产→可执行 manip 标签 | ✔ |
| SPARC | 2606.13497 | E3 | 真机 demo 空间标注+可靠性 | ✔ |
| FoundationMotion | 2512.10927 | E5 | 视频运动自动策展+LLM | ✔ |
| EgoBridge | 2509.19626 | 对齐 | 人机潜空间对齐共训 | ✔ |
5 · 一句话口径
具身自动标注的市面主线，是把「无标签人视频 / 真机日志 / 仿真资产」自动抬到 L2–L4 可训监督的数据引擎战：E1 重建 retarget、E2 采集工具链、E3 真机空间+可靠性、E4 资产可操作化、E5 运动策展；胜负手是「可执行动作 + 质量门」，不是标注条数。与 EgoScale 缩放律合用时，引擎负责延长有标签横轴，mid-train 真机负责钉住可执行；与工业力协议正交，高接触任务不可只靠自动视觉标注。
6 · 关联
- EGO 缩放：EgoScale 全文精读
- EGO 翻译层：EgoEngine（本专题 + Danfei 系列）
- 工业力：ManuFacet 专题（质量门对照）
- 数据集路线 R1/R3/R4