面向推荐的端云协同学习
机器学习
2021-06-18 v6 人工智能
摘要
随着移动设备存储与计算能力的快速发展，在设备上部署模型以节省繁重的通信延迟并捕获实时特征变得关键且流行。尽管已有大量工作探索促进设备端学习与推理，但多数聚焦于应对响应延迟或隐私保护，鲜有工作对设备与云端的建模协作进行建模并联合惠及双方。为弥补这一缺口，我们率先尝试研究端云协同学习（DCCL）框架。具体而言，在设备侧我们提出一种新颖的 MetaPatch 学习方法，以在给定集中式云模型的情况下高效实现“千人千模”。随后，利用数十亿个更新后的个性化设备模型，我们提出一种“模型之上的模型”蒸馏算法，即 MoMoDistill，以更新集中式云模型。我们在一系列不同设置的数据集上的大量实验证明了这种协作在云端与设备端的有效性，尤其在建模长尾用户方面的优越性。
引用
@article{arxiv.2104.06624,
title = {Device-Cloud Collaborative Learning for Recommendation},
author = {Jiangchao Yao and Feng Wang and KunYang Jia and Bo Han and Jingren Zhou and Hongxia Yang},
journal= {arXiv preprint arXiv:2104.06624},
year = {2021}
}
备注
KDD 2021