用最弱前置条件引导安全探索
机器学习
2023-03-01 v2
摘要
在安全关键场景的强化学习中，通常希望智能体在所有时刻（包括训练期间）均遵守安全约束。我们提出一种称为 SPICE 的新型神经符号方法来解决该安全探索问题。SPICE 使用基于符号最弱前置条件的在线屏蔽层，实现比现有工具更精确的安全分析，且不会过度影响训练过程。我们在一组连续控制基准上评估该方法，表明其可在产生更少安全违规的同时达到与现有安全学习技术相当的性能。此外，我们给出理论结果，表明在合理假设下 SPICE 收敛于最优安全策略。
引用
@article{arxiv.2209.14148,
title = {Guiding Safe Exploration with Weakest Preconditions},
author = {Greg Anderson and Swarat Chaudhuri and Isil Dillig},
journal= {arXiv preprint arXiv:2209.14148},
year = {2023}
}