基于影响函数的推荐遗忘
信息检索
2024-11-01 v4
摘要
推荐遗忘是一项新兴任务，用于为用户从训练良好的推荐模型中擦除不可用数据（例如某些历史行为）。现有方法通过在移除不可用数据后全量或局部重训练模型来处理遗忘请求。然而，由于全量重训练的高计算成本和局部训练极可能造成的性能损害，这些方法并不实用。有鉴于此，理想的推荐遗忘方法应以更高效的方式获得与全量重训练相近的模型，即实现完整、高效且无损的遗忘。在这项工作中，我们提出了一种基于影响函数的推荐遗忘（IFRU）新框架，它通过影响函数估计不可用数据对模型的影响，从而无需重训练即可高效更新模型。鉴于近期推荐模型将历史数据同时用于优化损失的构建与计算图（例如邻域聚合）的构建，IFRU 联合估计不可用数据对优化损失的直接影响以及对计算图的溢出影响，以追求完整的遗忘。此外，我们提出了一种基于重要性的剪枝算法来降低影响函数的开销。IFRU 是无损的，且适用于主流可微分模型。大量实验表明，与基于重训练的方法相比，IFRU 实现了超过 250 倍的加速，且推荐性能可与全量重训练相媲美。代码见 https://github.com/baiyimeng/IFRU。
引用
@article{arxiv.2307.02147,
title = {Recommendation Unlearning via Influence Function},
author = {Yang Zhang and Zhiyu Hu and Yimeng Bai and Jiancan Wu and Qifan Wang and Fuli Feng},
journal= {arXiv preprint arXiv:2307.02147},
year = {2024}
}
备注
Accepted by ACM TORS