Skip to content

专题 · Danfei Xu EGO 线全文精读系列(枢纽)

定位:不单篇 EgoScale,而是 xudanfei EGO 主线「逐篇全文细节」 的系列入口。
飞书:主文档下子文档;单篇可再挂子页。
说明:无独立 subagent 时由主会话并行抓取;PDF 损坏时用 abs/html+图,并标注 ⚠ 待补 PDF 精读。


系列进度

论文 id 状态 文档
EgoScale 2602.16710 ✅ 全文精读 专题-EgoScale全文精读-EGO缩放律-2026-08-28.md
EgoMimic 2410.24221 ✅ 本轮精读卡(abs+图+方法四件套) 下文 §A
EgoEngine 2606.12604 ✅ 本轮精读卡 下文 §B
EgoBridge 2509.19626 ✅ 本轮精读卡 下文 §C
MimicPlay 2302.12422 ⏳ 待全文 —
MimicTouch 2310.16917 ✅ 全文精读(接触力) 专题-MimicTouch全文精读-接触力支线-2026-08-28.md
EMMA 2509.04443 ⏳ —
EgoAVFlow 2602.22461 ⏳ —
EgoVerse 2604.07607 ✅ 数据集深挖 专题-EgoVerse数据集深挖-DanfeiEGO线-2026-08-28.md
EgoWAM 2607.08436 ⏳ —
CHORD 2607.00033 ✅ 全文精读(接触力) 专题-CHORD全文精读-DanfeiEGO接触力支线-2026-08-28.md
WhatMatters 2108.03298 ⏳ 早期 —
TransferVLA 2512.22414 ⏳ 分支 —

主线叙事(系列统一):
采集与低 gap 硬件(EgoMimic)→ 跨域对齐/共训(EgoBridge)→ 翻译引擎出机域数据(EgoEngine)→ 规模缩放律(EgoScale)→ 世界/接触(EgoWAM/CHORD)…


§A · EgoMimic(2410.24221)精读卡

标题:EgoMimic: Scaling Imitation Learning via Egocentric Video
作者:Kareer, Patel, …, Danfei Xu 等

问题

IL 要规模与多样性;纯真机示范贵。人视频常只抽高层意图,没有把人数据当与机同等的具身示范。

方法四件套(摘要+图)

  1. Aria 眼镜采集人具身数据(ego RGB + 3D 手跟踪)
  2. 低成本双臂缩小与人的运动学 gap(硬件迁就数据)
  3. 跨域数据对齐
  4. 人机数据共训的 IL 架构——人与机 平等 作为 embodied demo

EgoMimic

Insight

  • 签名:「硬件迁就数据」+「人机共训」——后面 EgoScale 的 mid-train 同构相机是同一哲学的感知版。
  • 相对后来 EgoScale:Mimic 解决 全栈能否成立;Scale 解决 量是否 log-linear。
  • 相对 EgoEngine:Mimic 尽量 降 gap 后直接共训;Engine 翻译出机域数据。

落地含义

  • 自建 EGO 线:先问能否 低 gap 本体 + 同构 ego 感知;不能则必须上 Engine/RoboEdit 类翻译。
  • ⚠ PDF 全文表数字本轮未完整抽(下载损坏时以 abs 为准),表结果待补。

§B · EgoEngine(2606.12604)精读卡

标题:EgoEngine: From Egocentric Human Videos to High-Fidelity Dexterous Robot Demonstrations
作者:Liu, Cheng, …, Danfei Xu

问题

灵巧示范成本;ego 视频有两个 gap:视觉(人 vs 机观测)与 动作(人运动 vs 可执行机动作)。

方法

输入 ego RGB,引擎输出:
1. 高保真机器人观测视频(人→机,保场景与时间对齐)
2. 任务对齐、可行性约束下的可执行动作轨迹

定位:可扩展数据引擎(sim+真机验证可规模转换)。

EgoEngine

Insight

  • 蓝本 L3 翻译/补全 核心实现;与 RoboEdit 并列 E1,偏 灵巧高保真示范。
  • 与 EgoScale 配方衔接:Engine 可制造「机域示范小时」;Scale 证明人域小时可缩放——两条造小时路径。
  • 可行性约束 = 自动标注里常被忽略的 可执行门。

落地含义

  • 有目标本体外观/平行域:优先 Engine 式翻译。
  • 质检:时间对齐误差、接触帧物理可置信、动作约束违反率。

§C · EgoBridge(2509.19626)精读卡

标题:EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data

问题

ego 人经验可扩展 IL,但外观/模态/运动学 domain gap 阻碍迁移。

方法

统一共训框架,显式对齐人机策略潜空间(domain adaptation),促进可泛化模仿。

EgoBridge

Insight

  • L2 对齐层代表;B 篇 A4(统一动作空间×OT)的直接文献锚。
  • 不生产帧标签,生产 可共训坐标——和自动标注引擎分工:引擎出监督,Bridge 出对齐。

系列阅读顺序(建议)

  1. MimicPlay(层级 plan 起点)
  2. EgoMimic(全栈哲学)
  3. EgoBridge(对齐)
  4. EgoEngine(翻译)
  5. EgoScale(缩放律全文)
  6. EgoWAM(世界表示选型) / CHORD(接触)
  7. EgoVerse / EMMA / EgoAVFlow(供给与主动感知)

一句话

Danfei EGO 线不是单篇 EgoScale,而是「低 gap 采集共训 → 潜空间对齐 → 视频/动作翻译引擎 → 2万小时缩放律 → 世界/接触」的论文阶梯;本系列按阶梯补全文细节。 - EgoVerse:https://huazhi-ai.feishu.cn/wiki/BjMHwtmIPiWLHFkchaYcKYNHnyi