CAN：用于点击率预测的特征协同作用网络
信息检索
2021-12-08 v3 机器学习
摘要
特征交互已被认为是机器学习中的一个重要问题，对于点击率（CTR）预测任务也至关重要。近年来，深度神经网络（DNNs）能够从原始稀疏特征中自动学习隐式非线性交互，因此被广泛应用于工业级 CTR 预测任务。然而，DNN 中学习到的隐式特征交互无法在无损情况下完整保留原始与经验性特征交互（如笛卡尔积）的表示能力。例如，简单尝试将特征 A 与特征 B 的组合 <A, B> 作为新特征的显式笛卡尔积表示，其效果可超越此前包括基于因子分解机（FM）及其变体在内的隐式特征交互模型。本文提出协同作用网络（Co-Action Network, CAN），以在不引入过多额外参数的前提下逼近显式成对特征交互。具体而言，给定特征 A 及其关联特征 B，其特征交互通过两组参数建模：1）特征 A 的嵌入；2）表示特征 B 的多层感知机（MLP）。将特征 A 的嵌入输入特征 B 的 MLP 网络即可得到逼近的特征交互。我们将此类成对特征交互称为特征协同作用（feature co-action），该协同作用网络单元具备拟合复杂特征交互的强大能力。在公开与工业数据集上的实验表明，CAN 优于当前最优 CTR 模型及笛卡尔积方法。此外，CAN 已部署于阿里巴巴展示广告系统，CTR 提升 12%、每千次展示收入（RPM）提升 8%，对业务带来显著增益。
引用
@article{arxiv.2011.05625,
title = {CAN: Feature Co-Action for Click-Through Rate Prediction},
author = {Weijie Bian and Kailun Wu and Lejian Ren and Qi Pi and Yujing Zhang and Can Xiao and Xiang-Rong Sheng and Yong-Nan Zhu and Zhangming Chan and Na Mou and Xinchen Luo and Shiming Xiang and Guorui Zhou and Xiaoqiang Zhu and Hongbo Deng},
journal= {arXiv preprint arXiv:2011.05625},
year = {2021}
}
备注
WSDM 2022