强化学习智能体中成瘾行为的涌现
机器学习
2018-11-15 v1 人工智能
机器学习
摘要
本文提出了一种对智能体接线入头（wireheading）进行技术分析的新方法。受接线入头的自然类比及其普遍表现形式的启发，我们建议将强化学习（RL）智能体中的此类现象建模为心理障碍。作为评估该提议的初步步骤，我们在贪吃蛇游戏这一易处理的环境中研究了 Q-learning 智能体中成瘾策略涌现的可行性与动力学。我们为该游戏考虑了一种稍作修改的设置，其中环境在原有的“健康”种子之外，还为蛇的消费提供“药物”种子。我们在此设置中采用并扩展了自然成瘾的基于 RL 的模型至 Q-learning 智能体，并推导了此类智能体中成瘾行为涌现的充分参数条件。此外，我们通过三组基于仿真的实验评估了我们的理论分析。结果证明了 RL 智能体中成瘾性接线入头的可行性，并为进一步研究复杂 AI 安全问题的精神病理建模提供了有前景的方向。
引用
@article{arxiv.1811.05590,
title = {Emergence of Addictive Behaviors in Reinforcement Learning Agents},
author = {Vahid Behzadan and Roman V. Yampolskiy and Arslan Munir},
journal= {arXiv preprint arXiv:1811.05590},
year = {2018}
}