专题 · 机器人具身评估：从二进制成功率到过程级稠密审计

命题：机器人评估长期被二进制 success rate 主导，把丰富执行过程压成一个比特，丢掉 progress / efficiency / stability 等关键质量。
证据核心：PRM-as-a-Judge（✔2603.21669 主文 + ✔2608.14284 1.5 技术报告）用 Process Reward Model（PRM）当裁判，把 rollout 视频变稠密进度曲线，做细粒度具身审计。
关联：直接衔接你一直在调研的"LLM PRM-as-judge / 过程级 vs 结果级监督"——这是它在具身上的落地版。

0 · 一句话

PRM-as-a-Judge = 把"给策略/模型打分"从成功与否的比特，升级成"这条 rollout 走了多远、怎么走的、在哪断的"的稠密过程审计。 这是具身评估从"结果"走向"过程"的标志性转向。

1 · 问题：为什么二进制不够

两种盲区： - 99% 进度和 5% 进度都叫 failure —— 丢掉了"离成功有多近"。 - 顺畅成功和卡顿成功都叫 success —— 丢掉了"执行质量"。

结果：主流具身 benchmark 的排名/结论高度依赖偶然成败，无法诊断失败模式、无法评估鲁棒性与效率。（作者 call：让 transparent / procedural / reproducible 评估成为下一代具身智能的地基。）

2 · 线路：具身评估的四段演进

L0 二进制成功率 (SR)
  → L1 里程碑/子任务成功率 (M25/50/75)
  → L2 规则化过程分数 (手写 progress / step check)
  → L3 学习式稠密评估 (PRM-as-a-Judge)：PRM 从轨迹视频直接估计任务进度

PRM-as-a-Judge 落在 L3：不在写死规则，而是学一个 PRM，对观察序列估计任务进度 → 生成进度曲线 → 派生出整套稠密指标。

3 · 核心方法：OPD 指标体系

OPD = Outcome–Process–Diagnosis，把"评估"拆成三层：

层	指标	含义
Outcome（结果）	MP ↑ · M25/50/75 · SR(阈值0.99)	走了多远、达没达里程碑/成功
Process（过程）	PPL(路径效率) · CRA(回归累计损失) · STR(停滞占比) · DRR(恢复度) · FNS(失败接近度)	过程质量
Diagnosis（诊断）	失败定位 + 逐帧剖析	为什么失败、在哪断

两个公理性质（理论贡献）： - macro-consistency：进度可加性、路径一致聚合（由诱导的 scalar potential 自然导出）→ 保证"整体=部分之和"度量可靠。 - micro-resolution：对细粒度物理演化的敏感性 → 能分辨微小进度差异。

审计示例：同任务，Orca 抓取失败但恢复并完成，π0.5 原地抖动反复抓不上——二进制指标完全看不出，PRM-as-a-Judge 能区分 failure 的"性质"。

4 · 实证：RoboPulse / RoboPulse++

RoboPulse（2603.21669）：诊断基准，专测 PRM 的 micro 级进度判别力。其中若干轨迹训练的 PRM judge 超过判别式相似度方法和通用基础模型 judge。
RoboPulse++（2608.14284）：1.5 版，测 metric 可靠性 + 更全面 PRM 评测平台。
两者都开源在 HF：yuheng2000/RoboPulse、lyy0715/RoboPulsePlusPlus。

1.5 新增三指标：failure-side progress、post-drawdown recovery、success-side execution quality —— 即"失败侧走得远不近、回落后恢复得好不好、成功侧执行干不干净"。

5 · 工具链（GitHub 详解）

Repo: YuyangLiu2003/PRM-as-a-Judge（Apache 2.0，中文团队·中科院）
默认 PRM 权重: Robo-Dopamine-GRM-2.0-8B-Preview（HF）→ 生成式 GRM 路线，非判别式标量。
流程: rollout 视频 → PRM → 进度曲线 → 指标 → 交互式报告

命令:

conda create -n prm-judge python=3.10 -y && conda activate prm-judge
pip install -e ".[dopamine]" -c constraints/dopamine-cu128-py310.txt
MANIFEST=eval/examples/manifest_demo_cases.jsonl PRM_PATH=$PRM_PATH VISUALIZE=1 bash eval/run_eval.sh
python eval/run_judge.py serve --run-root eval/results/run_*

代码结构（60 文件）：eval/{run_eval.sh,run_judge.py,calculate_advanced_metrics.py} + eval/prm_judge/{cli,curves,metrics,io,excel_report,manifest}.py + eval/prm_judge/prm/{base,dopamine,recorded}.py + getting_started/*.ipynb
三模式：incremental（默认）/ forward / backward；输出 metrics.xlsx。

6 · Insight（本线核心）

这是"过程 vs 结果监督"在具身的落地：你之前 LLM 侧的工具（GRM/ThinkPRM/PRM-as-judge）在机器人评估这边镜像出现 → 两条领域在"过程级监督"上汇合，方法论可互相搬运。
生成式 > 判别式在此同样成立：Robo-Dopamine 是 GRM（生成式），且实证轨迹训练 PRM > 判别式相似度方法 —— 再次应证"判别式→生成式"主轴。
评估 = 数据质量门的另一半：RoboPulse/Pulse++ 是"PRM 判断力"的度量，正好补你数据×训练版图里"质量门/评价"这一环——不只测模型，还测裁判本身可不可信。
有生态采用：被 Orca（orca-wm.github.io）用于 action-generation 评估 → 不是孤证。
开源 + 中文团队 + 微信社群：可实操（clone 就能跑内置 demo），适合低门槛复现/试点。

7 · 局限性（分析补）

依赖 PRM 本身的质量（RoboPulse++ 正为测它）；PRM 判据若有偏，指标随之偏。
进度"潜力"的定义需要任务对齐（task-aligned progress potential）——跨异构任务通用性待验。
目前更多是评估/诊断，能否直接当 RL 奖励（过程监督训练）仍是开放的下一步。

8 · 在数据×训练版图中的定位

属 R6/过程监督 与 评估基干 交叉处。
补上"裁判本身也要被评估"（judge-verification，RoboPulse）这一环——对应 LLM 侧 RewardBench 对 judge 的检验。
是"数据与评估互证"的正反馈：更好的 PRM←更好的数据；更好的数据质量门←更可信的 PRM。

9 · 关联

LLM PRM-as-judge 调研 · LLM-as-a-Judge 横向对比 · EgoVerse(过程) · 数据×训练研究纲领 · 具身评估基准(RoboPulse) · GRM 族