强化学习智能体中的正式伦理义务：验证与策略更新
人工智能
2024-08-02 v1 计算机科学中的逻辑
摘要
在为不确定环境中的智能体进行设计时，设计者需要能够自动推理智能体应当如何行动、其行为与实际情况之间存在何种冲突，以及如何通过修改策略来消除冲突。这些义务包括伦理与社会义务、许可与禁止，它们约束智能体如何实现其使命并执行其策略。我们提出了一种新的道义逻辑——期望行为功利道义逻辑（Expected Act Utilitarian deontic logic），用于在设计阶段实现此类推理：指定并验证智能体的策略义务，然后从参考策略出发修改其策略以满足这些义务。与在奖励层面工作的方法不同，在逻辑层面工作能提高权衡的透明度。我们引入两种算法：一种用于模型检验 RL 智能体是否具备正确的策略义务，另一种用于修改参考决策策略以使其满足我们逻辑中表达的义务。我们在能够准确抽象神经决策策略的 DAC-MDPs 以及玩具网格世界环境中展示了我们的算法。
引用
@article{arxiv.2408.00147,
title = {Formal Ethical Obligations in Reinforcement Learning Agents: Verification and Policy Updates},
author = {Colin Shea-Blymyer and Houssam Abbas},
journal= {arXiv preprint arXiv:2408.00147},
year = {2024}
}