关于顺序容错型过程规划

我们提出并研究了称为 Sequential Fault-Intolerant Process Planning (SFIPP) 的规划问题。SFIPP 捕捉了许多顺序多阶段决策问题中常见的奖励结构，其中仅当所有阶段都成功时，规划才被视为成功。这种奖励结构不同于经典的可加奖励结构，出现在药物/材料发现、安保和质量关键产品设计等重要应用中。我们为需要在每个阶段在不同动作之间进行选择（且动作成功概率未知）的情形设计了可证紧的在线算法。我们既针对行为确定性的基础情况，也针对概率性动作结果的情况进行了设计，通过使用多臂赌博机算法来有效平衡探索以学习和利用以进行规划。在实证评估中，我们展示了我们开发的专用算法——这些算法利用 SFIPP 实例的额外结构信息——优于我们更通用的算法。