RankUp：面向大规模广告推荐系统的高秩表示
信息检索
2026-05-13 v3
摘要
推荐系统的规模化规律日益得到验证，其中基于 MetaFormer 的架构在增加模型深度、隐藏维度和用户行为序列长度时，始终能获益。然而，表征容量是否随参数增长而比例提升尚未探讨。先前的 RankMixer 研究表明，token 表征的有效秩（effective rank）呈现抑制振荡轨迹跨越层次，未能随深度稳定增长，甚至在更深层次中恶化。鼓励此观察，我们提出 RankUp，一种旨在缓解表征坍塌、提升表达容量的架构，通过随机置换分割稀疏特征、多嵌入范式、全局 token 集成和交叉预训练嵌入 token 实现。RankUp 已在微信视频号、公众号和朋友圈等大规模生产环境中完全部署，分别带来 GMV 提升 3.41%、4.81% 和 2.12%。
引用
@article{arxiv.2604.17878,
title = {RankUp: Towards High-rank Representations for Large Scale Advertising Recommender Systems},
author = {Jin Chen and Shangyu Zhang and Bin Hu and Chao Zhou and Junwei Pan and Gengsheng Xue and Wentao Ning and Gengyu Weng and Wang Zheng and Shaohua Liu and Zeen Xu and Chengyuan Mai and Shijie Quan and Tingyu Jiang and Lifeng Wang and Shudong Huang and Chengguo Yin and Haijie Gu and Jie Jiang},
journal= {arXiv preprint arXiv:2604.17878},
year = {2026}
}
备注
9 pages, 5 figures