用户如何通过任务成功率等了解机器人基础模型性能
机器人学
2026-02-05 v1 人机交互
摘要
机器人基础模型（RFM）代表了一种发展通用家用机器人的有前景的方法。鉴于RFM的广泛能力，用户不可避免地会要求机器人执行RFM未训练或评估的任务。在这种情况下，用户必须理解尝试新任务的风险，因为失败的成本相对较高。此外，了解RFM能力的知情用户将知道机器人能处理哪些情境和任务。本文我们研究了非机器人专家如何解读RFM评估中的性能信息。这些评估通常以任务成功率（TSR）作为主要绩效指标。虽然TSR对专家而言直观易懂，但需要验证非专家是否以预期的方式使用此信息。为此，我们进行了一项研究，让用户看到真实的评估数据，包括TSR、失败案例描述以及来自多个已发表RFM研究项目的视频。结果表明，非专家不仅以与专家期望一致的方式使用TSR，还高度重视其他信息类型，例如通常未在RFM评估中报道的失败案例。此外，我们发现用户希望能够访问RFM以前评估的真实数据以及机器人对其在新任务上表现的估计。
引用
@article{arxiv.2602.03920,
title = {How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond},
author = {Isaac Sheidlower and Jindan Huang and James Staley and Bingyu Wu and Qicong Chen and Reuben Aronson and Elaine Short},
journal= {arXiv preprint arXiv:2602.03920},
year = {2026}
}
备注
Submitted to IJCAI 2026