在表格型强化学习中利用人类知识：一项人类受试者研究

强化学习在解决复杂的现实世界问题方面极为有效。然而，将人类知识注入 RL 智能体可能需要人类设计者付出大量努力并具备专业知识。迄今为止，在开发和评估可能的 RL 方法时，通常并未考虑人为因素。在本文中，我们着手研究不同知识注入方法在实际中如何被不同知识和技能水平的人类设计者所应用。我们对多种方法进行了首次实证评估，包括一种新提出的方法 SASS，该方法基于智能体状态-动作空间中的相似性概念。通过这项包含 51 名人类参与者的人类研究，我们进一步揭示了在 RL 中起关键作用的人为因素。我们发现，经典的奖励塑造技术似乎是大多数设计者（无论是专家还是非专家）加速 RL 最自然的方法。然而，我们进一步发现，我们提出的方法 SASS 可以与奖励塑造有效且高效地结合，并在最小化人类设计者额外开销的情况下，提供了一种优于仅使用单一加速方法的有益替代方案。