强化学习推荐系统中的用户篡改
人工智能
2023-07-25 v3
摘要
在本文中，我们引入新的形式化方法并提供实证证据，以突出基于强化学习（RL）的推荐算法中普遍存在的一个独特安全问题——“用户篡改”。用户篡改是指基于 RL 的推荐系统可能通过其建议操纵媒体用户的观点，作为最大化长期用户参与度策略的一部分。我们使用因果建模的形式化技术，批判性地分析了文献中为实施可扩展的基于 RL 的推荐系统而提出的主流解决方案，并观察到这些方法未能充分防止用户篡改。此外，我们评估了针对奖励篡改问题的现有缓解策略，并表明这些方法不足以解决推荐情境下独特的用户篡改现象。我们通过对一个专注于政治内容传播的基于 RL 的推荐系统进行仿真研究，进一步强化了我们的发现。我们的研究表明，Q-learning 算法会持续学习利用其机会，通过早期推荐来极化模拟用户，以便在后续与这种诱导极化一致的推荐中取得更一致的成功。我们的发现强调了开发更安全的基于 RL 的推荐系统的必要性，并表明实现这种安全性需要从根本上改变设计思路，远离我们近期文献中所见的方法。
引用
@article{arxiv.2109.04083,
title = {User Tampering in Reinforcement Learning Recommender Systems},
author = {Charles Evans and Atoosa Kasirzadeh},
journal= {arXiv preprint arXiv:2109.04083},
year = {2023}
}
备注
In proceedings of the 6th AAAI/ACM Conference on Artificial Intelligence, Ethics and Society (AIES '23)