最小化使用简化模型规划的负面副作用

大型马尔可夫决策过程的简化模型通过考虑每个状态-动作对的结果子集来加速规划。这种可达状态数量的减少导致在规划执行期间，当智能体遇到无预计算动作的状态时需要重新规划。然而，并非所有状态都适合重新规划。在最坏情况下，智能体可能无法从新遇到的状态到达目标。智能体应更好地准备处理此类风险情形，并避免在风险状态中重新规划。因此，我们将在不宜深思的状态中重新规划视为使用简化模型规划的负面副作用。尽管始终使用完整模型可最小化负面副作用，但这违背了使用简化模型的目的。挑战在于使用简化模型规划，但在某种程度上考虑遇到风险情形的可能性。因此，智能体应仅在用户已批准为重新规划安全的状态中重新规划。为此，我们提出使用简化模型组合进行规划，这是一种通过在不同结果选择方法间交替来最小化使用简化模型规划的负面副作用的规划范式。我们在三个领域实证展示了我们方法的有效性：使用来自大学校园真实数据的电动汽车充电领域以及两个基准规划问题。