专题 · 工业数据集精密分析(ManuFacet / 力同步装配)
文档性质:单专题深度调研(insight),非实验执行清单。
飞书位置:主文档「数据论文分析」下的子文档(不堆主文档章节)。
核心样本:NTU PINE Lab · ManuFacet-1K / Facet-0
项目页:https://pine-lab-ntu.github.io/facet-0/
核验:项目页 + 论文 PDF §1–§3 + HF 卡片;arxiv 标准编号页面未给(⚠ 待补)。
0 · 本专题要回答的问题
- 工业数据集和通用真机数据集(AgiBot / OpenX)差在协议层的哪几条硬约束?
- 为什么「再堆通用 VLA 数据」跨不过亚毫米装配?
- ManuFacet 的数据协议(力同步 / 接触相 / 失败保留 / 同 schema)各自解决什么机制问题?
- Facet-0 如何把协议变成可训练监督(action–wrench 联合)?
- 这对我们「数据×训练」五条供给哲学与 R4/R5/R6 意味着什么?
一句话预告:工业精密域的瓶颈是数据协议,不是模型牌子;协议 = 力同步 × 接触相标注 × 失败保留 × 公差进成功判据。
1 · 问题背景:制造装配仍是具身的「硬骨头」
站页问题陈述(可核验):
- 装配 / 插入 / 紧固 / 对齐仍高度依赖人工,对零件与布局变化脆。
- 例子:航发 ~18,000 零件;半导体贴装 ±5–25 µm;美国制造岗位缺口量级(Deloitte 引用)。
- 两种现状都不够:
- 预编程自动化:单任务高效,改型/变体贵、专家示教重。
- 人工:灵活,但短缺、疲劳、安全与一致性。
提出的第三条路:数据驱动制造智能——用真实工业数据训基础模型,跨零件/布局/批次适应,产线边部署边改进。
关键论断(站页金句):
Scaling ≠ precision — 差距在 manufacturing data。
公开机器人数据里 <1% 触及制造装配;规模买到的是泛化,不是 ±0.1 mm 插入所需的接触判断、力修正与恢复。
| 对照 | 规模 | 含义 |
|---|---|---|
| 通用公开数据(OpenX 等合计口径) | ~11,000 h 量级 | 广,但几乎不碰制造装配接触 |
| 制造装配公开(REASSEMBLE + FMB) | ~44 h | 有力/阶段,但太小 |
| ManuFacet-1K | ~1,000 h | 力同步精密装配,把这一格拉起一个数量级 |
论文 Table 1 进一步钉死:OpenX / AgiBot World 在 Sync F/T 上为 mixed / n/r;FMB(~31h)、REASSEMBLE(~13h) 有 F/T 但规模小;ManuFacet 同时具备 ~1000h + Sync F/T + contact phase + long-horizon。
2 · ManuFacet-1K:数据协议精拆
2.1 构成(PDF §3.1,已核)
| 维度 | 规格 |
|---|---|
| 时长 | ~1,000 h(开环遥操演示 + 闭环 rollout + 人干预) |
| 任务配比 | CPU 37.3% · RAM 21.9% · Disk 23.4% · GPU 17.3% |
| 本体 | 3:UR7e(主采集)· xArm · Franka;同一 schema |
| 机箱/产线变体 | Dell Precision T5810 ~72% · T1700 ~28%(full/mid tower) |
| 传感 | 腕部 6 轴 F/T · 3 RGB · 关节本体感 · 平行夹爪 |
| 状态每帧 | \(s_t = [x_t \in \mathbb{R}^6;\ g_t \in \mathbb{R};\ w_t \in \mathbb{R}^6]\)(位姿+开合+wrench)共 13-D |
| 动作分辨率 | 0.5 mm |
| 时钟(站页) | ~160 Hz state · ~15 Hz vision |
| 语言 | VLM 生成 sub-task / instruction,复用于预训练、奖励分解、适配 |
| 发布 | 数据卡、去标识中心 ID、策展代码;HF:Pinelab/ManuFacet-1K |
站页运营向数字(与论文 ~1000h 口径可并存:可训子集 vs 全 corpus):~642 h trainable、~25k curated episodes、QA ~90% 等——分析以论文 §3 为准,站页作动态补充。
2.2 七相接触 taxonomy(§3.2)— 工业版「L3」
approach → align → insert → press → seat → fasten → retreat
\__________ 五个接触意图相(critical)__________/
研究员要点:
1. 相 ≠ 评测动词:相描述轨迹内时间交互体制;评测 skill verb 是子目标,一个 verb 可跨多相。
2. 信息密度偏斜:接触相帧是少数,但承载多数结果信息。
3. 力的双峰:低力对齐模 vs seating 模(约高一个数量级)——说明若只学视觉/平均力,会抹掉关键模式。
4. 可寻址:相边界采集时标记 + 离线 VLM 校验;分歧重标 → 预训练 / 奖励分解 / action–wrench 条件化都有统一索引。
→ 映射我们 L0–L4:这是为接触结果服务的 L3,比 EPIC verb-noun 或纯语义原子动作更贴物理。EGO 线的 L3 若要服务插入类任务,缺的是力条件化相结构,不是更多自然语言。
2.3 采集与策展五步(§3.3)
- 时间戳多模态同步
- 段级有效性抽取
- 基于显著性的 action-chunk 采样
- VLM 辅助子任务/指令监督
- 异常纠正,纠正后轨迹保留进飞轮
设计签名:失败不是垃圾。 多数通用数据集过滤失败;工业接触里失败模态(卡滞、偏置、过压)恰恰是 post-train RL 与 recovery 的燃料。站页 post-train:failure recovery +60%,与此协议直接相关。
2.4 遥操形态
力矩控制臂 + 力反馈 kinesthetic 遥操 → 力调节是操作者有意行为,不是事后贴的传感器噪声。这对「wrench 作为监督」至关重要:标签分布反映策略意图,而非随机碰撞。
3 · Facet-0:协议如何变成模型
3.1 要学的对象
不是「更大的 VLA」,而是 semantic–contact representation:把「任务语义意图」与「运动将引发的接触后果」绑在同一表示里。
摘要机制:
- 因果 wrench 历史 与 视觉–语言语义、运动学状态对齐
- flow matching 生成每个 action chunk 以及 它预期诱发的未来腕部 wrench profile(joint action–wrench proposal)
- 部署 rollout 训 distributional Action–Wrench Critic:区分任务进度相似但接触后果不同的运动
- phase-aware rewards + contact-selective credit 把改进集中在决定性交互
- 轻量 bounded actor 复用冻结表示做 on-robot 适配;RL 定义在可执行笛卡尔动作上;辅助 wrench head 保持预测性、非指令的 action–contact 耦合(力不是乱当命令喷)
3.2 系统分层(站页)
| 层 | 频率 | 作用 |
|---|---|---|
| Reasoning VLM | ~5–10 Hz | 语义规划、子任务跟踪、粗 reference action-force chunks |
| Force-Residual Head | ~20 Hz | 力历史 → Δa,细化到 0.5 mm |
| Safety Critic | — | \(Q(s,z,f,a)\) 门控,接触安全包络 |
| 执行 | ~200 Hz | 柔顺、接触感知执行 |
对比实验叙事:vision-only 在接触处 jam;force residual 可纠正并 seat——更低峰值接触力、更小插入误差、更快恢复。
3.3 三阶段训练与硬指标
| 阶段 | 内容 | 站页/摘要效果 |
|---|---|---|
| Pre-train | 遥操装配 + assembly-VQA(做什么 + 该什么手感) | 技能与任务先验 |
| Post-train | 真机 RL / reward-driven rollout | +45% success · −40% cycle · +60% recovery |
| Adapt | few-shot、安全有界;~6.6% 权重 | +30% adapted success |
摘要硬结果:五任务亚毫米 PC 装配 mean success 82% vs 最强 baseline 15%;0.5 mm 放置精度;50 ms 指令延迟。
3.4 对「力觉 VLA」文献位置的判断
论文自我定位:通用 VLA 接口偏低频位姿,欠表示力与状态历史;经典柔顺控制稳接触但手调、弱耦合多模态;既有 force-aware VLA 改善感知,却常把学习环开环——部署检出失败,却缺对后续纠正交互的 credit 机制。
Facet-0 的增量:闭环 credit + 联合生成 wrench profile + 相选择信用。
4 · 精密对照:工业协议 vs 其他供给哲学
4.1 五条哲学中的 D
| 哲学 | 代表 | 与 ManuFacet |
|---|---|---|
| A 通用真机 | AgiBot / OpenX / π | 同属真机,regime 不同:A 广任务;D 窄任务极高精度+力协议 |
| B 人/EGO | 光轮 / 它石 / EgoVerse | 正交:EGO 无亚毫米 wrench 真值;规模与语义先验,不替代 D |
| C 仿真 | GR00T / Cosmos | 互补危险:可造力,接触 sim2real 深坑;D 选真机力同步为主供给 |
| D 精密工业力 | ManuFacet | 本专题主体 |
| E 配对金标准 | HRDexDB | E 定质量上限;D 给可 soft 的工业量级 |
4.2 协议层对照表(分析用)
| 协议项 | A 通用真机 | B EGO | C 仿真 | D ManuFacet |
|---|---|---|---|---|
| 成功判据 | 任务完成/泛化 | 多为语义/操作成功 | 仿真成功 | 公差 + 力包络 + 恢复 |
| 力/触 | 可选扩展 | 人触觉≠产线 F/T | 可仿真 | 每帧 sync F/T 强制 |
| 时序结构 | sub-step / 技能 | 原子动作/叙述 | 可任意 | 接触 7 相 |
| 失败样本 | 常过滤 | 少系统性保留 | 可合成 | 保留 + 飞轮 |
| 跨本体 | 多源拼盘或共训 | 需 retarget | 可随机化 | 少本体 + 同一 13-D schema |
| 单位小时信息 | 中 | 低~中(缺 L4) | 高但不真 | 高(力+相+恢复) |
4.3 与 REASSEMBLE / FMB 的谱系
二者已有 sync F/T 与阶段标签,但是 ~13h / ~31h 量级。ManuFacet 的贡献不是「发明力」,而是把工业接触协议拉到可训基础模型的小时数,并配上 joint action–wrench 学习与真机 RL 闭环。
→ 工业数据集路线的进步函数 ≈ 协议完备度 × 有效小时 × 闭环回流,不是轨迹条数。
5 · 对「数据×训练」主线的精密含义
5.1 修正 1:真机必须再拆 A vs D
混称「真机数据」会掩盖:
- A 解决覆盖与泛化;
- D 解决接触体制下的稳、准、恢复。
采购/精读/对标时先问四问:
1. 有无 sync F/T?
2. 有无 接触相(非仅技能动词)?
3. 失败是否保留?
4. 成功是否含 公差/力包络?
5.2 修正 2:R4 ∩ R6 是精密域的主战场
- R4 真机在精密域不可被 R1/R3 廉价替代(缺 wrench 真值与真接触)。
- R6 不能停在「多一个触觉通道」:要升级到 力是监督对象 + credit 进训练环(Facet-0),WIYH 的 VLTA 是标准入门,ManuFacet 是工业闭环标杆。
5.3 修正 3:R5 统一动作空间要能挂 wrench
相机中心/夹爪不变统一了「空气中的几何」;插入任务还需要 接触条件下的可微接口(wrench 历史、相索引、安全包络)。否则统一动作空间在 D 域会系统性欠定。
5.4 修正 4:用「有效小时」比较,不用原始小时
1h ManuFacet(力+相+恢复)≠ 1h 纯 RGB 遥操 ≠ 1h 被动 EGO。
版图比较应报:有效接触小时 / 相标注覆盖 / F/T 同步率 / 失败段占比。
5.5 修正 5:开源争夺的第三条协议线
- A 线:跨机构通用格式(OpenX 系)
- B 线:人/EGO 规模标品(光轮/它石)
- C 线:仿真与世界模型基础设施(NVIDIA)
- D 线:工业力同步 schema + 接触相词汇 + 飞轮策展(Data Foundry / ManuFacet 候选人)
谁定义 D 协议,谁更可能定义精密制造具身的数据接口。
6 · 局限与外推边界(精密,不灌鸡汤)
- 任务族偏 3C/PC 装配;汽车接触装配、航发 inspection 为 next up——跨行业接触几何是否共用 7 相,未证。
- 腕部 F/T ≠ 分布式触觉皮肤;与 GelSight / 皮肤式触觉是不同空间粒度,合流仍是开放问题。
- 3 本体同 schema 的跨本体结论不能直接外推到双手/人形全身。
- 82% vs 15% 是摘要主结果,基线集合与任务定义以全文实验节为准(本专题以摘要+协议层为主,实验表细项可续补)。
- arxiv 标准 id 待补;引用目前用项目 PDF + HF。
7 · 精读清单(调研向,供后续单篇)
| 优先级 | 对象 | 看什么 |
|---|---|---|
| P0 | ManuFacet PDF 全文实验/附录 B | QC 阈值、相标注一致性、消融(无 F/T / 无相 / 无 RL) |
| P1 | REASSEMBLE · FMB | 早期力同步谱系,规模与标签粒度对照 |
| P1 | 力觉 VLA 相关(论文 related) | 开环力感知 vs 闭环 credit 的分界 |
| P2 | 它石 WIYH × ManuFacet | VLTA 人中心 vs 产线 F/T 协议对照 |
| P2 | AgiBot World 视触觉扩展 | A 向 D 靠拢的可能路径 |
8 · 口径(可引用)
工业数据集专题口径:
精密接触制造的具身瓶颈不是再来一个通用 VLA,而是工业数据协议——力同步 × 接触相标注 × 失败保留 × 公差化成功判据。ManuFacet-1K 把该协议做到 ~1000h 可训规模;Facet-0 用 action–wrench 联合生成与真机 RL 信用分配把亚毫米装配从约 15% 拉到约 82%。对数据×训练:真机须拆 A/D;R4∩R6 是精密主场;R5 统一动作空间必须能挂 wrench;比较数据请用有效接触小时,而非原始小时。
9 · 关联文档
| 文档 | 关系 |
|---|---|
| 主文档「数据论文分析」 | 父节点;本篇为子文档 |
工业数据集洞察-Facet0-ManuFacet1K-2026-08-28.md |
首轮洞察卡(较短) |
企业工业数据集版图-含ManuFacet-五条供给哲学-2026-08-28.md |
版图与五哲学 |
数据集路线研究-主线图谱与研究计划-2026-08-28.md |
R1–R6;R4/R6 已挂 ManuFacet |
| EGO 数据集 8 集对照 | B 线;与 D 正交,勿混比 L4 |