DCAP：用于用户响应预测的深度交叉注意力乘积网络
机器学习
2021-08-24 v3 人工智能
信息检索
多媒体
摘要
用户响应预测旨在预测用户在给定情境（如点击广告或购买商品）下给出预定义正向响应的概率，对在线广告、推荐系统和搜索排序等许多工业应用至关重要。然而，由于这些任务所收集数据的高维度和极度稀疏性，人工构造交叉特征不可避免地耗时费力。已有用户响应预测研究通过以特征乘积增强特征向量来利用特征交互，以显式或隐式方式建模二阶或高阶交叉特征。尽管如此，现有方法或因模型架构局限未能学习充分的交叉特征，或对全部高阶特征交互等权建模而受限。本文提出一种新颖架构——深度交叉注意力乘积网络（DCAP），以填补此空白；该网络保留了交叉网络在向量层面显式建模高阶特征交互的优势。此外，受多头注意力机制与乘积神经网络（PNN）启发，它能在各网络层区分不同交叉特征的重要性，使从业者能更深入分析用户行为。另外，我们所提模型易于实现并可并行训练。我们在三个真实数据集上进行了全面实验，结果稳健表明所提DCAP模型相较最先进模型取得了更优预测性能。公开代码见https://github.com/zachstarkk/DCAP。
引用
@article{arxiv.2105.08649,
title = {DCAP: Deep Cross Attentional Product Network for User Response Prediction},
author = {Zekai Chen and Fangtian Zhong and Zhumin Chen and Xiao Zhang and Robert Pless and Xiuzhen Cheng},
journal= {arXiv preprint arXiv:2105.08649},
year = {2021}
}
备注
10 pages, 7 figures, Accepted by CIKM'21