CTR 预测中数值特征的嵌入学习框架
信息检索
2021-05-25 v2 人工智能
机器学习
摘要
点击率(CTR)预测对工业推荐系统至关重要,多数深度 CTR 模型遵循嵌入与特征交互范式。然而,大多数方法聚焦于设计网络架构以更好捕捉特征交互,而特征嵌入(尤其是数值特征)被忽视。现有数值特征方法因低容量或基于离线专家特征工程的硬离散化而难以捕捉有用知识。本文提出一种用于 CTR 预测中数值特征的新型嵌入学习框架(AutoDis),具有高模型容量、端到端训练及保留独特表示性质。AutoDis 由三核心组件构成:元嵌入、自动离散化与聚合。具体地,我们为每个数值域提出元嵌入,以可控参数量从域的视角学习全局知识。随后可微自动离散化执行软离散化并捕捉数值特征与元嵌入间关联。最后,通过聚合函数学习具区分性且信息丰富的嵌入。在两份公开与一份工业数据集上的综合实验验证了 AutoDis 的有效性。此外,AutoDis 已部署于主流广告平台,在线 A/B 测试显示相较基模型 CTR 与 eCPM 分别提升 2.1% 与 2.7%。另外,我们框架代码已于 MindSpore(https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/recommend/autodis)公开。
引用
@article{arxiv.2012.08986,
title = {An Embedding Learning Framework for Numerical Features in CTR Prediction},
author = {Huifeng Guo and Bo Chen and Ruiming Tang and Weinan Zhang and Zhenguo Li and Xiuqiang He},
journal= {arXiv preprint arXiv:2012.08986},
year = {2021}
}
备注
9 pages