AdnFM：一种基于注意力 DenseNet 的因子分解机用于 CTR 预测
人工智能
2021-11-30 v2 信息检索
社会与信息网络
摘要
本文中，我们考虑点击率（CTR）预测问题。因子分解机及其变体考虑成对特征交互，但通常由于高时间复杂度我们不会使用 FM 进行高阶特征交互。鉴于深度神经网络（DNNs）在许多领域的成功，研究者已提出若干基于 DNN 的模型来学习高阶特征交互。多层感知机（MLP）已被广泛采用以学习从特征嵌入到最终 logits 的可靠映射。本文旨在进一步探索这些高阶特征交互。然而，高阶特征交互值得更多关注与进一步发展。受密集连接卷积网络（DenseNet）在计算机视觉中的巨大成就启发，我们提出一种称为基于注意力 DenseNet 的因子分解机（AdnFM）的新模型。AdnFM 通过使用前馈神经网络的所有隐藏层作为隐式高阶特征来提取更全面的深度特征，随后通过注意力机制筛选主导特征。此外，使用 DNN 以隐式方式进行高阶交互比显式方式（例如 FM 中）更具成本效益。在两个真实世界数据集上的大量实验表明，所提模型能有效提升 CTR 预测性能。
引用
@article{arxiv.2012.10820,
title = {AdnFM: An Attentive DenseNet based Factorization Machine for CTR Prediction},
author = {Kai Wang and Chunxu Shen and Chaoyun Zhang Wenye Ma},
journal= {arXiv preprint arXiv:2012.10820},
year = {2021}
}