学习安全的数值规划动作模型
机器学习
2025-07-16 v2 人工智能
摘要
将规划技术应用于现实世界问题的一个重大挑战在于获取能够准确表示问题动态特性的规划模型。在任务关键型领域中，获取规划模型更具挑战性，因为通过试错法来学习如何行动是不可行的。在这些领域中，用于生成规划的动作模型必须是安全的，即使用该模型生成的规划必须是可执行的并能达成其目标。学习安全的规划动作模型主要在状态可由布尔变量充分描述的领域中被探索。在本研究中，我们突破了这一限制，提出了数值安全动作模型学习算法。在本研究中，我们提出了 N-SAM，一种能够学习安全数值前提条件与效果的动作模型学习算法。我们证明 N-SAM 的运行时间关于观测数量是线性的，并且在特定条件下能保证返回安全的动作模型。然而，为了保持这一安全保证，N-SAM 必须在将每个动作纳入学习到的模型之前，观测到该动作的大量实例。我们针对 N-SAM 的这一局限性提出了解决方案，提出了 N-SAM*，它是 N-SAM 算法的扩展，始终返回一个每个观测到的动作至少在某些状态下可执行的动作模型，即使该动作仅被观测过一次。N-SAM* 在不损害返回动作模型安全性的前提下做到了这一点。我们证明，与任何其他保证安全性的算法相比，N-SAM* 在样本复杂度上是最优的。我们在广泛的数值规划领域基准上对 N-SAM 和 N-SAM* 进行了评估，并将其性能与最先进的数值动作模型学习算法进行了比较。我们还讨论了数值精度对学习过程的影响。
引用
@article{arxiv.2312.10705,
title = {Learning Safe Numeric Planning Action Models},
author = {Argaman Mordoch and Shahaf S. Shperberg and Roni Stern and Berndan Juba},
journal= {arXiv preprint arXiv:2312.10705},
year = {2025}
}