解决信息丢失与交互坍缩：面向特征交互的双重增强注意力框架
信息检索
2025-03-17 v1 机器学习
摘要
Transformer 已被证明是 CTR 预测中特征交互的重要方法，在以往的工作中取得了相当大的成功。然而，它在处理特征交互时也带来了潜在的挑战。首先，Transformer 在捕获特征交互时可能会遇到信息丢失。通过依赖内积来表示成对关系，它们压缩了原始交互信息，这可能导致保真度的下降。其次，由于长尾特征分布，信息丰度低的特征场嵌入限制了其他场的信息丰度，导致嵌入矩阵坍缩。为了解决这些问题，我们提出了一个用于增强特征交互的双重注意力框架，称为双重增强注意力。该框架集成了两种注意力机制：Combo-ID 注意力机制和避免坍缩注意力机制。Combo-ID 注意力机制直接保留特征交互对以减轻信息丢失，而避免坍缩注意力机制自适应地过滤掉低信息丰度的交互对以防止交互坍缩。在工业数据集上进行的大量实验证明了双重增强注意力的有效性。
引用
@article{arxiv.2503.11233,
title = {Addressing Information Loss and Interaction Collapse: A Dual Enhanced Attention Framework for Feature Interaction},
author = {Yi Xu and Zhiyuan Lu and Xiaochen Li and Jinxin Hu and Hong Wen and Zulong Chen and Yu Zhang and Jing Zhang},
journal= {arXiv preprint arXiv:2503.11233},
year = {2025}
}