LREA：用于 CTR 预测中长期用户行为建模的低秩高效注意力机制
信息检索
2025-05-09 v4
摘要
随着用户历史行为数据的快速增长，用户兴趣建模已成为点击率（CTR）预测中的重要方面，专注于学习用户意图表示。然而，这种复杂性带来了计算挑战，需要在模型性能与在线服务可接受的响应时间之间取得平衡。传统方法通常使用过滤技术。这些技术通过基于物品属性优先考虑前 K 个物品或采用低精度注意力机制，可能导致重要信息的丢失。在本研究中，我们引入了 LREA，一种克服现有方法局限性同时确保计算效率的新型注意力机制。LREA 利用低秩矩阵分解来优化运行时性能，并结合专门设计的损失函数以在保持信息完整性的同时维持注意力能力。在推理阶段，采用矩阵吸收和预存储策略以有效满足运行时约束。大量离线和在线实验的结果表明，我们的方法优于 SOTA 方法。
引用
@article{arxiv.2503.02542,
title = {LREA: Low-Rank Efficient Attention on Modeling Long-Term User Behaviors for CTR Prediction},
author = {Xin Song and Xiaochen Li and Jinxin Hu and Hong Wen and Zulong Chen and Yu Zhang and Xiaoyi Zeng and Jing Zhang},
journal= {arXiv preprint arXiv:2503.02542},
year = {2025}
}
备注
5 pages, accepted by SIGIR 2025 Short Paper Track