通过无模型强化学习尽快满足形式化规约
机器学习
2023-04-26 v1 人工智能
形式语言与自动机理论
系统与控制
系统与控制
摘要
我们提出一种无模型强化学习解决方案，即ASAP-Phi框架，以鼓励智能体尽快（ASAP）满足形式化规约。该框架利用分段奖励函数，对不满足规约的轨迹赋予定量语义奖励，对其余轨迹赋予高常数奖励。随后，其使用基于actor-critic的算法（如soft actor-critic（SAC）或deep deterministic policy gradient（DDPG））训练智能体。此外，我们证明ASAP-Phi产生的策略会优先尽快满足规约。我们在最先进的基准上进行了大量实验（包括消融研究）。结果表明，我们的框架在多达97%的测试例中成功找到足够快的轨迹，并击败基线。
引用
@article{arxiv.2304.12508,
title = {Fulfilling Formal Specifications ASAP by Model-free Reinforcement Learning},
author = {Mengyu Liu and Pengyuan Lu and Xin Chen and Fanxin Kong and Oleg Sokolsky and Insup Lee},
journal= {arXiv preprint arXiv:2304.12508},
year = {2023}
}