STORE：面向扩大排序模型规模的语义分词、正交旋转与高效注意力
信息检索
2025-11-25 v1
摘要
排序模型已成为现代个性化推荐系统的重要组成部分。然而，在处理高基数、异构且稀疏特征空间时，仍面临模型可扩展性和效率的诸多挑战。我们识别出两个关键瓶颈：(i) 表示瓶颈：受高基数和动态特征特性的驱动，模型容量被迫进入稀疏激活的嵌入层，导致低秩表示。这进一步引发“单纪元”和“交互坍塌”等现象，最终阻碍模型可扩展性。(ii) 计算瓶颈：将所有异构特征集成到统一模型中，会导致特征标记数量爆炸，使传统注意力机制在计算上昂贵且易受注意力稀释。为拆除这些障碍，我们提出STORE——一个基于三个核心创新构建的统一且可扩展的基于标记的排序框架：(1) 语义分词从根本上通过将高基数稀疏特征分解为一组紧凑且稳定的语义标记，解决特征的异构性和稀疏性问题；(2) 正交旋转变换用于旋转由低基数静态特征张成的子空间，促进更高效、更有效的特征交互；(3) 高效注意力机制筛选低贡献标记，提高计算效率而不牺牲模型精度。在大量离线实验和线上A/B测试中，我们的框架 consistently 改善了预测准确度（线上CTR提升2.71%，AUC提升1.195%）和训练效率（吞吐量提升1.84倍）。
引用
@article{arxiv.2511.18805,
title = {STORE: Semantic Tokenization, Orthogonal Rotation and Efficient Attention for Scaling Up Ranking Models},
author = {Yi Xu and Chaofan Fan and Jinxin Hu and Yu Zhang and Zeng Xiaoyi and Jing Zhang},
journal= {arXiv preprint arXiv:2511.18805},
year = {2025}
}