面向局部动作价值模糊、由战略价值引导的自动化战术决策规划模型

在许多现实世界的规划问题中，动作的影响随施加地点、时间以及上下文而不同。在相同状态下，具有相同效果的同一动作在不同上下文或状态中可能引起不同的变化。在前提列表不完整的动作中，其可适用于多种状态和情形，关于动作影响的模糊性即使在小规模领域中也具有挑战性。为估计动作的真实影响，仅对效果列表进行评估是不够的；相对估计更具信息量且更适合估计动作的真实影响。近期关于过度订阅规划（OSP）的工作将动作的净效用定义为该动作引起的状态价值的净变化。动作净效用的概念允许从更广阔的视角看待价值动作影响，并可用于在考虑状态间与状态内依赖关系的情况下对动作达成效果进行更准确评估。在复杂现实中实现价值理性决策往往需要具有全局视角与价值的战略性高层规划，而许多局部战术决策需要实时信息以估计动作影响。本文提出一种离线动作-价值结构分析，以利用紧凑表示的动作净效用信息性，将规划范围扩展到价值不确定性场景，并提供实时价值理性决策规划工具。离线预处理阶段的结果是一个紧凑的决策规划模型表示，用于具有（离线）价值模糊的动作净效用的灵活局部推理。所获得的灵活性有利于在线规划阶段与具有价值模糊的动作的实时执行。我们的实证评估显示了该方法在动作-价值结构中存在价值模糊的领域中的有效性。