好机器人总应懂得认识自身局限性：基于因子化机器自信评估自主系统决策能力

如何判断智能机器是否具备完成任务的能力？这一问题在算法在不确定性下进行决策的自主系统中引起广泛关注。我们认为，机器自信——一种基于系统对世界状态、自身情况以及推理与执行任务能力进行自我评估的元推理形式——为此类智能体提供了众多可计算且有用的能力指示器。本文以因子化机器自信（Factorized Machine Self-confidence, FaMSeC）框架形式，概述了我们在这一概念上的研究工作。该框架全面考虑了影响算法决策能力的几个关键因素：结果评估、求解器质量、模型质量、对齐质量以及历史经验。在FaMSeC框架中，自信指标通过嵌入在马尔可夫决策过程（MDP）求解器及相关方法中的“问题求解统计”来推导。这些统计量来自对特定结果中概率超越阈值的评估，而这些结果及其对应的能力标准由评估者指定。一旦设计并评估，这些统计量即可轻松集成到自主智能体中，用作能力指示器。我们对马尔可夫决策过程智能体提供了详细描述与示例，展示了如何通过创新的元效用函数、行为仿真和代理预测模型，在多种任务情境中发现结果评估和求解器质量因素。数值评估表明，FaMSeC指标按预期工作（本文之外的涉及人类主观研究的参考文献已予以列明）。