KEEP：一种基于知识提取与插入的在线推荐工业预训练框架
信息检索
2022-08-23 v1 人工智能
摘要
工业推荐系统通常呈现包含多个子系统结果的混合列表。实践中，每个子系统使用自身反馈数据优化以避免不同子系统间的干扰。然而，我们认为这种数据使用方式可能因数据稀疏性导致次优的线上性能。为缓解该问题，我们提出从包含万维网规模与长时间曝光数据的超域中提取知识，并进一步辅助在线推荐任务（下游任务）。为此，我们提出一种新颖的工业知识提取与插入（KEEP）框架，这是一个两阶段框架，包含 1）超域上的有监督预训练知识提取模块，以及 2）将提取知识并入下游模型的插入网络。这使其利于在线推荐的增量训练。此外，我们为 KEEP 设计了高效的经验方法，并介绍了在大规模工业系统中实现 KEEP 时的实践经验。在两个真实世界数据集上的实验表明 KEEP 可取得令人满意的结果。值得注意的是，KEEP 也已部署于阿里巴巴的展示广告系统，带来了 CTR 与 RPM 的提升。
引用
@article{arxiv.2208.10174,
title = {KEEP: An Industrial Pre-Training Framework for Online Recommendation via Knowledge Extraction and Plugging},
author = {Yujing Zhang and Zhangming Chan and Shuhao Xu and Weijie Bian and Shuguang Han and Hongbo Deng and Bo Zheng},
journal= {arXiv preprint arXiv:2208.10174},
year = {2022}
}
备注
Accepted at CIKM 2022, 10 pages. Yujing Zhang and Zhangming Chan contributed equally to this work