PrivateRec：面向联邦新闻推荐的差分隐私训练与在线服务
信息检索
2022-12-15 v2
摘要
收集和训练敏感个人数据在个性化推荐系统中引发严重的隐私担忧，联邦学习可通过在去中心化用户数据上训练模型来潜在缓解该问题。然而，在联邦推荐的培训与服务两个阶段均具理论隐私性的方案至关重要但仍缺失。此外，由于模型梯度与隐表示的维度较高，直接将差分隐私（DP）应用于联邦推荐的两个阶段无法在隐私与效用间取得满意权衡。本工作中，我们提出一种联邦新闻推荐方法，以在 DP 保证下于模型训练与在线服务中实现更优效用。我们首先厘清联邦推荐系统生命周期中每轮行为数据的 DP 定义。接着，我们基于用公共基向量分解用户嵌入并扰动低维组合系数的思想，在该定义下提出一种隐私保护在线服务机制。我们应用随机行为填充机制以降低所需噪声强度，从而获得更好效用。此外，我们设计了一种联邦推荐模型训练方法，其能生成用于服务的高效公共基向量，同时为训练参与者提供 DP。我们通过标签置换与差分隐私注意力模块避免了大模型的维度相关噪声。在真实世界新闻推荐数据集上的实验验证了我们的方法在联邦新闻推荐的训练与服务两阶段均于 DP 保证下取得优越效用。
引用
@article{arxiv.2204.08146,
title = {PrivateRec: Differentially Private Training and Serving for Federated News Recommendation},
author = {Ruixuan Liu and Yanlin Wang and Yang Cao and Lingjuan Lyu and Weike Pan and Yun Chen and Hong Chen},
journal= {arXiv preprint arXiv:2204.08146},
year = {2022}
}