具有内疚厌恶心理理论促进合作强化学习
人工智能
2020-09-17 v1
摘要
内疚厌恶使人们在认为自己令他人失望时产生效用损失，这在人类中促进了合作行为。在心理博弈论中，内疚厌恶需要对其他智能体所想持有信念模型的智能体进行建模，即所谓的心理理论（ToM）。我们旨在构建一种新型情感强化学习智能体，称为具有内疚厌恶的心理理论智能体（ToMAGA），其具备考量他人福祉而非仅利己的能力。为验证该智能体设计，我们使用称为猎鹿博弈的一般和博弈作为测试平台。由于标准强化学习智能体在此类猎鹿博弈的社会困境中可能学到次优策略，我们提出将基于信念的内疚厌恶作为奖励塑形机制。我们展示了基于信念的内疚厌恶智能体能够在猎鹿博弈中高效学习合作行为。
引用
@article{arxiv.2009.07445,
title = {Theory of Mind with Guilt Aversion Facilitates Cooperative Reinforcement Learning},
author = {Dung Nguyen and Svetha Venkatesh and Phuoc Nguyen and Truyen Tran},
journal= {arXiv preprint arXiv:2009.07445},
year = {2020}
}
备注
Accepted for publication at ACML 2020