EST：面向高效规模化的点击率预测方法
信息检索
2026-02-12 v1
摘要
高效扩展工业级点击率（CTR）预测模型近期引发广泛关注。现有方法通常通过提前聚合用户行为来保持效率，但这种非统一或部分统一建模会因舍弃解锁规模化潜力所必需的细粒度、token 级别信号而制造信息瓶颈。本文我们重新审视了CTR预测与大型语言模型（LLM）之间的根本区别，识别出两个关键属性：行为特征与非行为特征之间信息密度的不对称性，以及内容丰富信号的模态特定先验。基于此，我们提出了高效可扩展变换器（EST），通过在单个序列中处理所有原始输入而无损聚合，实现了完全统一的建模。EST集成了两个模块：轻量级交叉注意（LCA），通过剪枝冗余自注意力以聚焦于高影响力的交叉特征依赖；内容稀疏注意（CSA），利用内容相似性动态选择高信噪比的行为。大量实验表明，EST表现出稳定且高效的幂律规模关系，使模型规模增长能够实现可预测的性能提升。在淘宝广告平台上部署时，EST显著优于生产基线，实现了3.27%的每英里收入（RPM）提升和1.22%的CTR提升，为可扩展的工业级CTR预测模型提供了实际可行的路径。
引用
@article{arxiv.2602.10811,
title = {EST: Towards Efficient Scaling Laws in Click-Through Rate Prediction via Unified Modeling},
author = {Mingyang Liu and Yong Bai and Zhangming Chan and Sishuo Chen and Xiang-Rong Sheng and Han Zhu and Jian Xu and Xinyang Chen},
journal= {arXiv preprint arXiv:2602.10811},
year = {2026}
}