推荐系统中的设备端模型微调与标签校正
信息检索
2022-11-03 v1 人工智能
机器学习
摘要
为满足在线智能服务中低延迟、低成本和良好隐私的实际需求，越来越多的深度学习模型从云端卸载到移动设备。为进一步应对跨设备数据异构性，被卸载的模型在投入实时推理前通常需要使用每个用户的本地样本进行微调。本文关注推荐系统中的基础任务——点击率（CTR）预测，并研究如何有效且高效地进行设备端微调。我们首先指出一个瓶颈问题：每个用户的本地CTR（即用于微调的本地数据集中正样本的比例）往往偏离全局CTR（即云端用于训练初始模型的所有用户混合数据集中正样本的比例）。我们进一步证明，这种CTR漂移问题会使设备端微调甚至对物品排序产生损害。为此，我们提出一种新颖的标签校正方法，该方法仅要求每个用户在设备端微调之前更改本地样本的标签，即可很好地使本地先验CTR与全局CTR对齐。在三个数据集和五个CTR预测模型上的离线评估结果，以及手机淘宝中的在线A/B测试结果，证明了设备端微调中标签校正的必要性，并揭示了相比无微调的基于云的学习所带来的提升。
引用
@article{arxiv.2211.01163,
title = {On-Device Model Fine-Tuning with Label Correction in Recommender Systems},
author = {Yucheng Ding and Chaoyue Niu and Fan Wu and Shaojie Tang and Chengfei Lyu and Guihai Chen},
journal= {arXiv preprint arXiv:2211.01163},
year = {2022}
}