推荐系统中的快速遗忘
信息检索
2022-08-16 v1
摘要
推荐系统的用户可能出于隐私或效用原因，希望删除其部分数据，不仅从数据存储库中删除，还要从底层机器学习模型中删除。此类被遗忘权请求可通过从头重新训练推荐模型来满足，但这在实践中过于缓慢且昂贵。在本文中，我们研究推荐系统的快速机器遗忘技术，其能从小量训练数据中移除对推荐模型的影响，而无需承担重新训练的全部代价。加速该过程的一个自然思路是在剩余训练数据上微调当前推荐模型，而非从随机初始化开始。该热启动策略确实适用于使用标准一阶神经网络优化器(如 AdamW)的神经推荐模型。然而，我们发现采用二阶(牛顿或拟牛顿)优化方法可实现更大的加速。为克服二阶优化器极高的计算成本，我们提出一种新的推荐遗忘方法 AltEraser，其将遗忘的优化问题划分为许多易于处理的小型子问题。在三个真实世界推荐数据集上的大量实验表明，AltEraser 在一致性(遗忘彻底性)、准确性(推荐有效性)和效率(遗忘速度)方面均取得令人满意的结果。据我们所知，本工作是面向最先进神经推荐模型的快速近似机器遗忘的首次尝试。
引用
@article{arxiv.2208.06875,
title = {Forgetting Fast in Recommender Systems},
author = {Wenyan Liu and Juncheng Wan and Xiaoling Wang and Weinan Zhang and Dell Zhang and Hang Li},
journal= {arXiv preprint arXiv:2208.06875},
year = {2022}
}