面向跨域点击-through率预测的高效迁移学习框架
信息检索
2024-08-30 v1
摘要
自然内容与广告在工业推荐系统中共存，但二者的数据分布不同。具体而言，广告相关流量显著稀疏于自然内容流量，这就促使开发将知识从丰富的自然内容域迁移到稀疏广告域的能力。挑战包括管理大量源数据带来的效率问题，以及CTR模型每日更新后导致的'灾难性遗忘'问题。为此，我们提出一种新型三级异步框架，即面向跨域点击-through率预测的高效迁移学习框架（E-CDCTR），用于将自然内容的综合知识迁移到广告CTR模型。该框架包含三个关键组件：Tiny Pre-training Model（TPM），在长期自然数据上训练仅含几个基本特征的小型CTR模型；Complete Pre-training Model（CPM），在短期自然数据上训练结构和输入特征与目标广告一致的CTR模型；Advertisement CTR model（A-CTR），其参数初始化来自CPM，额外特征来自TPM的多个历史嵌入，然后在广告数据上微调。TPM为CPM和A-CTR提供更丰富的用户和物品表示，有效缓解了每日更新固有的遗忘问题。CPM进一步通过提供知识性初始化来增强广告模型，从而缓解广告CTR模型通常遇到的数据稀疏性挑战。这种三级跨域迁移学习框架为解决数据稀疏和'灾难性遗忘'问题提供了高效解决方案，取得了显著的改进。
关键词
引用
@article{arxiv.2408.16238,
title = {Efficient Transfer Learning Framework for Cross-Domain Click-Through Rate Prediction},
author = {Qi Liu and Xingyuan Tang and Jianqiang Huang and Xiangqian Yu and Haoran Jin and Jin Chen and Yuanhao Pu and Defu Lian and Tan Qu and Zhe Wang and Jia Cheng and Jun Lei},
journal= {arXiv preprint arXiv:2408.16238},
year = {2024}
}