深度精读 · 数据集方向两篇（方法论到实现）
标准：Insight，不流水账。不只说要啥，说清【为什么这么设计】【这设计值钱在哪】【我怎么用它】。
壹 · SoftVTBench — 给操作数据装一根"物理尺子"
一句话：别只看"做没做成"，要看"做得多温柔"——首创带独立物理真值(FEM)的视触觉数据集，用「变形感知成功率 DSR」抓出策略的"作弊式成功"。
核心思想
现有操作基准几乎只评二值"任务成功"。但策略可以表面完成、实际粗暴：抓着物体一路滑移、把软物体压过头，结果照样算成功。作者点破瓶颈：缺一套"策略能看到的接触观测" 与 "独立于策略的物理真值" 配对的全任务数据集。
方法拆解（到实现层）
- 模态同步：20Hz 下每回合同时录——多视角 RGB、双指触觉 RGB + 标点(marker)运动、本体感、语言指令、二值/连续夹爪动作。
- 关键设计 ① "evaluator-only" FEM 真值：用有限元(finite-element)算出的物体真实应力/形变状态作为评测专用真值，策略在训练/推理时看不到。这是整套数据里最聪明的点——它把"评测的尺子"和"策略偷看的眼睛"严格隔离，防止策略用真值作弊。
- 关键设计 ② DSR 指标：完成任务的 rollout 还须满足"峰值归一化形变 ≤ 容差"，才计成功。容差用固定对象特定标定定出（不同物体软硬不同，得逐物标）。
- 评测盘：3 个代表策略（Diffusion Policy / π₀.5 / FastWAM）跨多套件、分布内 vs 分布漂移两组。
为什么值得关注 / 真实洞察
- "evaluator-only 真值" 是可复制的范式：不只做数据集，更定义了"评测真值独立于观测模态"的设计模板。任何想知道"策略到底用没用上某模态"的实验，都该学这招。
- 负结果最贵：分布内 12 个配置全部存在"成功但违反形变容差"的 rollout，占各配置成功的 0.7–24%。这不是噪声，是系统性证据：现有策略普遍在"结果对、过程糙"地偷懒——二值成功指标正在系统性高估能力。
- "有触觉 ≠ 融合有效"（最反直觉）：分布漂移下视触觉变体在 6/6 项任务成功更高、5/6 项 DSR 更高；但分布内收益不稳。这指向一个深结论：触觉的主要价值在"没见过/外推"时当急救包，而不是让已熟悉的场景更稳。给模型硬塞触觉、却不改变融合机制，分布内不会白捡收益。
- 对我做数据方向的启发：数据集要带"评测专用真值"才配叫 benchmark——它反向逼着策略不偷懒，也让"触觉到底帮不帮忙"可被证伪。
局限 / 下一步
- 触觉为双指、平台有限，"多指 + 力控"是否同结论需原文确认。
- 分布漂移结论基于给定套件，外推前先复现。
- 值得跟进的线：把 DSR 思路推广到"动作平滑度/力上限"等更多物理质量维度，形成"物理友好度"指标族。
链接：https://arxiv.org/abs/2608.18701
贰 · Benchmark 冗余审计 — 别刷一堆重复的题
一句话：51 模型 × 12 基准证明这堆基准大量"信息重复"，4 道信息量最大的题就能还原 78.5% 真水平，排名正被冗余悄悄扭曲。
核心思想
物理AI模型各家报不同的基准子集 → 模型×基准矩阵稀疏，基准之间共享多少信息从没人量化。作者算出:这堆基准彼此严重冗余，甚至扭曲了模型排名。
方法拆解（到实现层）
- 造矩阵：从"51 基准 / 152 模型"注册表里，按上报密度挑出 51 模型 × 12 基准；分数来源 = model card + benchmark 论文 + 自己按官方协议补跑。
- 量化冗余：测基准两两共享多少信息（信息论/相关性视角）。
- 关键设计：killer utility——选基准的贪心目标是
分数分散度 + 未被已选集解释的方差。第一项保证选的基准"能拉开模型差距"，第二项保证选的基准"与已选集合互补"。这其实就是把 benchmark 当特征做前向选择（类似 AIC/forward selection），是全文的引擎。 - 检验"冗余扭曲排名"：把两对可替代基准合并成单列后，等权平均下 22/51 个模型排名至少动 3 位——排名不是稳定的实体，而是取决于你填了哪些列。
- 产出：4 基准子集保留全 12 基准 78.5% 效用，并拟合 Bradley–Terry 得到可解释排名。
为什么值得关注 / 真实洞察
- 稀疏矩阵让"整体排名"几乎不可比：51×12 却大面积空着，所谓的"谁强谁弱"高度依赖各模型恰好上报了哪几列——这是比冗余更深的问题，作者用"补跑+信息量选择"部分绕开了它。
- "互补性"比"单个最强"更值钱：选基准不是挑"每个都最有用"，而是挑"合起来覆盖最多新信息"的四个。这点很多人做评测时想不到。
- 社区启示：新基准应自带"信息重叠度"标注。否则社区只会无限堆重复的题，排名越来越脆。这条几乎能直接写进我们的论文方法论里当审稿视角。
- 通用且便宜：只要分数有足够重叠就用得上、且不限于物理AI——适用于任何评测体系。
局限 / 下一步
- 稀疏性是硬约束：很多模型没报足够重叠的分数，矩阵只能由"上报密度"反推，可能有选样偏差。
- 贪心前向选择是启发式，不一定全局最优；可试子集穷举/交叉验证来稳健化。
- 没谈"分数可信度"（各机构自测的基准差异），可叠加重复性审计。
链接：https://arxiv.org/abs/2608.25940
两条 Insight 合并思考
- SoftVTBench 管"单个样本的物理质量"，冗余审计管"一整套评测的信息效率"——一个往深里修指标，一个往整体砍冗余。做数据/评测的人,该兼修这两端。
- 共同点：都在质疑"现成指标/现成评测"的理所当然，且都给出可操作的量化替代物（DSR、信息量贪心选择）。这才是研究级的 Insight 交付。