机器人应当顺从吗？

直观上，顺从——即遵循人类发出的指令——似乎是机器人应具备的良好属性。然而，人类并非完美，我们可能会发出与自身偏好不完全一致的指令。我们证明，当人类并非完全理性时，试图推断并根据人类潜在偏好行事的机器人，其表现始终优于仅机械遵循人类字面指令的机器人。因此，机器人的顺从性与其能为所有者创造的价值之间存在权衡。我们研究了机器人推断人类偏好的方式如何影响这一权衡，发现某些方法比其他方法更倾向于顺从。随后，我们分析了当机器人对人类关心的特征或人类理性水平的模型设定错误时，性能如何下降。最后，我们研究了机器人如何开始检测此类模型设定错误。总体而言，我们的工作表明，可能存在一种中间状态，即机器人智能地决定何时顺从人类指令，但在顺从性上略作让步。