联邦用户表示学习
机器学习
2019-09-30 v1 机器学习
摘要
协同个性化，例如通过学习的用户表示（嵌入），可显著提升基于神经网络模型的预测精度。我们提出联邦用户表示学习(FURL)，一种在联邦学习(FL)设定下利用现有神经个性化技术的简单、可扩展、隐私保护且资源高效的方法。FURL 将模型参数划分为联邦参数与私有参数。私有参数（如私有用户嵌入）在本地训练，但不同于联邦参数，它们不被传输至服务器或在服务器上平均。我们从理论上证明该参数划分不会影响大多数模型个性化方法的训练。在本地存储用户嵌入不仅保护用户隐私，而且相较于服务器端训练改善了个性化的内存局部性。我们在两个数据集上评估 FURL，展示了模型质量的显著提升，性能分别提高 8% 和 51%，且仅以 0% 和 4% 的降低达到与集中式训练几乎相同的性能水平。此外，我们表明在 FL 与集中式设定下学习的用户嵌入具有非常相似的结构，表明 FURL 可在保护用户隐私的同时通过共享参数进行协同学习。
引用
@article{arxiv.1909.12535,
title = {Federated User Representation Learning},
author = {Duc Bui and Kshitiz Malik and Jack Goetz and Honglei Liu and Seungwhan Moon and Anuj Kumar and Kang G. Shin},
journal= {arXiv preprint arXiv:1909.12535},
year = {2019}
}