利用有限负样本学习联邦表征与推荐
机器学习
2021-11-03 v2 分布式、并行与集群计算
摘要
深度检索模型被广泛用于学习实体表征与推荐。联邦学习提供了一种保护隐私的方式以训练这些模型，无需集中用户数据。然而，由于客户端上非IID（独立同分布）的训练数据——联邦学习限制可用负样本训练的内在属性，联邦深度检索模型通常表现远差于其中心化对应模型。我们证明该问题与常被研究的客户端漂移问题不同。本工作提出批不敏感损失，作为缓解联邦电影推荐中非IID负样本问题的方法。我们探索多种技术并确认批不敏感损失能有效提升联邦深度检索模型性能，将联邦模型的相对召回率提升高达93.15%，并将其与中心化模型间召回率相对差距从27.22%–43.14%缩小至0.53%–2.42%。我们也开源了代码框架以加速联邦深度检索模型的进一步研究与应用。
引用
@article{arxiv.2108.07931,
title = {Learning Federated Representations and Recommendations with Limited Negatives},
author = {Lin Ning and Karan Singhal and Ellie X. Zhou and Sushant Prakash},
journal= {arXiv preprint arXiv:2108.07931},
year = {2021}
}