由可证明规范性合规引导的强化学习
人工智能
2022-04-20 v2 机器学习
摘要
强化学习（RL）已显示出作为在工程自主智能体中构建安全、伦理或合法行为的工具的潜力。其使用通常依赖于对构成不安全或不伦理选择的态-动作对施加惩罚。然而，尽管这一赋值在该方法中是至关重要的一步，关于泛化惩罚选择过程及决定施加位置的讨论却很有限。在本文中，我们采用一种在训练期间利用现有框架——（Neufeld 等人，2021）的规范性监督器——的方法。该规范性监督器用于动态地将状态和适用的规范系统翻译为可废止道义逻辑理论，将这些理论输入定理证明器，并利用推导出的结论来决定是否对智能体施加惩罚。我们使用多目标 RL（MORL）来平衡避免违规的伦理目标与非伦理目标；我们将证明我们的方法适用于多种 MORL 技术，并表明无论我们所施加惩罚的大小如何，它都是有效的。
引用
@article{arxiv.2203.16275,
title = {Reinforcement Learning Guided by Provable Normative Compliance},
author = {Emery Neufeld},
journal= {arXiv preprint arXiv:2203.16275},
year = {2022}
}
备注
12 pages, 2 figures. Extended version, March 2022