MMBAttn：用于CTR预测的最大-均值与位级注意力
信息检索
2023-08-28 v1
摘要
随着在线广告与推荐系统中点击率(CTR)预测任务复杂度和规模的不断增加，准确估计特征重要性已成为开发有效模型的关键环节。本文提出一种基于注意力的方法，利用最大与均值池化操作以及位级注意力机制，增强CTR预测中的特征重要性估计。传统上，最大与均值池化等池化操作被广泛用于从特征中提取相关信息。然而，这些操作可能导致信息丢失并妨碍特征重要性的准确判定。为应对该挑战，我们提出一种新颖的注意力架构，其利用基于位的注意力结构来强调特征中所有位之间的关系，并结合最大与均值池化。通过考虑位级别的细粒度交互，我们的方法旨在捕捉可能被传统池化操作忽略的复杂模式与依赖关系。为检验所提方法的有效性，我们在三个公开数据集上进行了实验。实验表明，所提方法显著提升了基模型的性能，取得了最先进的(state-of-the-art, SOTA)结果。
引用
@article{arxiv.2308.13187,
title = {MMBAttn: Max-Mean and Bit-wise Attention for CTR Prediction},
author = {Hasan Saribas and Cagri Yesil and Serdarcan Dilbaz and Halit Orenbas},
journal= {arXiv preprint arXiv:2308.13187},
year = {2023}
}