迈向共情式深度 Q 学习
机器学习
2019-06-27 v1 人工智能
神经与进化计算
摘要
随着强化学习 (RL) 扩展到解决日益复杂的任务，AI 安全与机器伦理领域的兴趣持续增长。作为对这些领域的贡献，本文提出了一种对深度 Q 网络 (DQN) 的扩展，称为共情式 DQN (Empathic DQN)，其松散地受共情与黄金法则（“己所不欲，勿施于人”）启发。共情式 DQN 旨在帮助缓解由短视目标导向行为对其他智能体造成的负面副作用。我们假定一种设定：一个学习智能体与若干独立智能体（获得未知奖励）共存，其中某些类型的奖励（例如来自身体伤害的负奖励）可能跨智能体泛化。共情式 DQN 通过将典型（以自我为中心）的价值与其他智能体的估计价值相结合，通过设想（依其自身标准）其处于他者处境时的价值（通过考虑两者互换的构造状态）来实现。在两个网格世界环境中的概念验证结果凸显了该方法减少附带危害的潜力。尽管将共情式 DQN 扩展到复杂环境并非易事，我们相信这第一步彰显了机器伦理与 RL 之间桥梁工作可为遵规 RL 智能体贡献有用先验的潜力。
引用
@article{arxiv.1906.10918,
title = {Towards Empathic Deep Q-Learning},
author = {Bart Bussmann and Jacqueline Heinerman and Joel Lehman},
journal= {arXiv preprint arXiv:1906.10918},
year = {2019}
}
备注
To be presented as a poster at the IJCAI-19 AI Safety Workshop