一种用于 CTR 预测的协同集成框架
信息检索
2024-11-22 v1 机器学习
摘要
基础模型的最新进展确立了缩放定律，使得能够通过开发更大的模型来获得更好的性能，从而推动了对大规模推荐模型的广泛研究。然而，在推荐系统中，即使拥有大量数据，单纯增加模型规模并不总能带来预期的性能提升。在本文中，我们提出了一种新颖的框架——协同集成训练网络（CETNet），以利用多个不同的模型，每个模型拥有自己的嵌入表，来捕捉独特的特征交互模式。与简单的模型缩放不同，我们的方法通过协同学习强调多样性与协作，其中模型迭代地优化其预测结果。为了动态平衡每个模型的贡献，我们引入了一种基于置信度的融合机制，该机制使用广义 softmax，其中模型置信度通过负熵计算得出。这种设计确保了置信度更高的模型对最终预测具有更大的影响力，同时受益于其他模型的互补优势。我们在三个公开数据集（AmazonElectronics、TaobaoAds 和 KuaiVideo）以及来自 Meta 的大规模工业数据集上验证了我们的框架，证明了其相对于单个模型和 SOTA 基线的优越性能。此外，我们还在 Criteo 和 Avazu 数据集上进行了进一步的实验，以将我们的方法与多嵌入范式进行比较。结果表明，我们的框架在更小的嵌入规模下实现了相当或更好的性能，为 CTR 预测任务提供了一种可扩展且高效的解决方案。
引用
@article{arxiv.2411.13700,
title = {A Collaborative Ensemble Framework for CTR Prediction},
author = {Xiaolong Liu and Zhichen Zeng and Xiaoyi Liu and Siyang Yuan and Weinan Song and Mengyue Hang and Yiqun Liu and Chaofei Yang and Donghyun Kim and Wen-Yen Chen and Jiyan Yang and Yiping Han and Rong Jin and Bo Long and Hanghang Tong and Philip S. Yu},
journal= {arXiv preprint arXiv:2411.13700},
year = {2024}
}