专题 · MimicTouch 全文精读（Danfei EGO 接触力支线）
论文：✔ arXiv 2310.16917 · MimicTouch: Leveraging Multi-modal Human Tactile Demonstrations for Contact-rich Manipulation（CoRL 2024）
作者：Kelin Yu*, Yunhai Han*, Qixian Wang, Vaibhav Saxena, Danfei Xu, Ye Zhao（Georgia Tech）
站点：sites.google.com/view/MimicTouch
飞书：主文档下子文档
0 · 一句话
MimicTouch = 让人直接用手「演示触觉」，采集多模态人触觉数据（触觉图 + 音频 + 末端位姿），用 NN 非参数 IL 学离线策略，再用在线残差 RL 弥合人手→机械爪的 embodiment gap。
在 2 件式插入/装配类接触丰富任务上，触觉演示采集 104 条/hr（成功率 83%），碾压遥操（Spacemouse 19/hr·38.5%、手引导 44/hr·58.8%）；离线策略 LL 13.7%/MULSA 4%，RL 微调后训练效率与成功率都优于遥操策略，并零样本泛化到移位/倾斜/两段密装/多材料/家具装配。
在 EGO 线中：这是 B 线「人 EGO 数据」× 触觉/接触精密 的交叉点。相对 MimicPlay（plan）、EgoWAM（world 表示），MimicTouch 引入 触觉信号作为人→机迁移的第三通道，直指 Danfei 线里「接触精密」支线的源头之一。
1 · 问题
- 视觉方案（如 NVIDIA Factory sim-to-real）在遮挡/光照差时失效。
- 人类靠触觉完成精细插入，但既有方法①限 3D 平移动作空间 ②重度依赖遥操 ③感知 gap：采集用视觉控机、却记录触觉给策略学习 → 无法还原人触觉引导策略。
- MimicTouch 目标：人手直接演示 → 拿到「真实的人触觉引导控制策略」。
2 · 方法
2.1 数据采集（§3.1, Fig.6/Appendix.A）
人手直接操作插入任务，系统采：
- 人手尖位姿：RealSense + Aruco 标定，校准/滤波后映射为机器人 EE 位姿
- 触觉图：GelSight Mini 装在指尖（实验中只用 1 枚）
- 音频：HOYUJI TD-11 压电接触麦克风，置于插入孔底座（保证人机机械振动一致）
对比遥操不可扩展、久训、感知 gap；人手演示自然采集接触丰富的动态触觉引导运动。
2.2 表示学习（§3.2）
- 独有嵌入：BYOL（触觉图）+ BYOL-A（音频谱），各自 2048 维。
- 自监督 → 低维、鲁棒、去任务无关噪声；覆盖成功/失败/次优演示（100 条：7657 触觉图 + 1000 音频段，2 Hz 分音频）。
2.3 离线策略（§3.3）— 非参数 NN IL
- 关键点：人手比机快 → 稀疏观测-动作对 + embodiment gap 导致 covariant shift；故用 非参数 NN（更安全、约束到演示数据）。
- 状态 (o_T, o_A, o_EE)，特征 (y_T, y_A, o_EE) 组成演示库 key；各输入归一化；执行时最近邻搜库出 6D delta 位姿。
- 对比参数化 MULSA：NN 更能处理 covariant shift。
2.4 在线残差 RL（§3.4）
- 直接微调非参数策略不可能 → 训练残差策略 π_r（观测 + 上一步总动作），总和 = 离线输出 + 残差。
- SAC（连续动作+熵正则+replay 扩数据）。
- 奖励：KL 贴合专家轨迹 + 距离 + 朝向 + 「阻塞」惩罚（0.5 s 完不成动作）+ 「滑动」惩罚（触觉嵌入跳变大 → 失握）+ 成功 +1；系数 α=0.5,β=0.3,γ=0.2。
- 意义：离线 IL 提供动作先验（主导），残差 RL 补生域交互与接触推理（少而必要）。
3 · 实验（§4）
3.1 硬件/任务
Franka Panda；IK 把 6-DoF 位姿映射为 7-DoF 关节力矩。焦点=插入（3D 打印圆柱 17.5mm 半径/80mm + 孔基座）。对比 Spacemouse、Hand-guided 遥操（Spacemouse 练 ~5 h）。
3.2 采集吞吐（§4.1, Table 1）
| 方法 | 频率 | 成功率 |
|---|---|---|
| Spacemouse 遥操 | 19 traj/hr | 38.5% (20/52) |
| Hand-guided 遥操 | 44 traj/hr | 58.8% (20/34) |
| Human Tactile（Ours） | 104 traj/hr | 83.3% (20/24) |
→ 人手触觉演示最高效，且无缝整合触觉+运动，遥操难捕动态触觉引导运动。
3.3 离线策略（§4.2.1）
- 20 条无噪序列训练，5 条加噪测 MSE：NN 0.21 vs MULSA 1.53
- 真实 25 次 rollout：NN 40% (10/25) vs MULSA 16% (4/25)
- 消融（Table 3）：无触觉+音频 4% → 单触觉 24% → 单音频 16% → 双模态 40% ← 多模态触觉关键（接触阶段触觉/音频起主要作用；缺触觉→接触时错误运动，缺音频→检测不到碰撞）。
3.4 人手 vs 遥操演示（§4.2.2）
同 NN 法对比：人手演示训练出的策略显著优于遥操演示（原因：遥操采集时感知 gap / 受限动作 / 难捕动态触觉引导运动）。
3.5 在线 RL 与零样本泛化（§4.3, Table 2）
- Human Tactile + residual RL：2 h 微调 88% (22/25)，3 h 达 96% (24/25)
- 对照：遥操（Spacemouse/手引导）策略在对应时期仅 32% (8/25) / 60% (15/25)。
- 零样本泛化：移位 0.8cm、倾斜 10°/20°、两段密装、多材料（刚性笔 + 软 tissue/sponge，软 64%）、家具装配（顺螺纹插入 + 简单旋转脚本解决）。相比 Open-loop 全面胜出。
3.6 动作来源（§K）
IL 输出占主导、RL 残差小但必要 → 触觉演示 + NN + 残差 RL 三者缺一不可的叙事。
4 · Insight
- 触觉是 B 线（人 EGO 数据）此前缺的第三通道：EgoMimic/EgoScale 用视觉+位姿；MimicTouch 证明人接触信号能直接指导接触精密任务，且采集比遥操便宜近 5×。
- 人的触觉引导 = 数据里「力/接触意图」的廉价载体 —— 对应 R6 物理接触触觉支线：不必是 ManuFacet 那种精密力同步，人手指+触觉+音频已是「接触疏型」起点。
- NN 非参数 vs 参数的取舍：接触丰富时 covariant shift 致命，非参数更安全 —— 提醒我们接触类数据用「约束到演示」比「外插生成」更稳。
- 残差 RL 桥 embodiment gap：规模叙事（EgoScale 缩放律）在接触类这里不直接成立，形态/力 gap 需要在线校正 —— 属 B×接触的混合范式。
- 与 CHORD 对照：MimicTouch 是真机本体采样演示（触觉真实但需在线 RL）；CHORD 是仿真 + 接触 wrench 引导 RL（更可规模）。两者合起来覆盖「数据供给」的两端。
5 · 局限
- 单任务域（插入/装配 2 件式）、单臂 Panda、作业空间小；非通用长程。
- 触觉传感人手环境与机器人并不完全同源（一个触觉传感器、麦克风孔位一致性依赖部署）。
- 未扩展到灵巧手多指力控制或大规摸杂任务。
6 · 口径
MimicTouch（2310.16917）让人以手直接演示接触丰富任务，采集 GelSight 触觉图 + 接触音频 + 末端位姿的多模态人触觉数据，以 BYOL/BYOL-A 学紧凑表示、NN 非参数 IL 学离线策略、SAC 残差 RL 弥合人手→机械爪 gap；触觉演示采集 104 条/hr 且 83% 成功率，零样本泛化到 5 类插入/装配域。它证明「人触觉信号」是 EGO 线接触精密的廉价可扩展供给通道。