扩张更多、收缩更少：面向稠密推荐的有效秩动力学塑形
摘要
扩缩推荐模型是推荐系统中的核心挑战。最近，RankMixer 作为一种有效解决方案， operates on unified token representation and alternates between token mixing and per-token feedforward networks (P-FFNs) to achieve scalable performance。然而，RankMixer 存在 embedding collapse，即学习到的表示具有低有效秩，这限制了 expressivity 并在未充分利用扩张的表示空间方面起到了不足作用。通过经验分析和理论见解，我们识别出刚性 token mixing 和 P-FFN 模块是这一现象的主要原因，两者共同导致有效秩演化在各层之间呈现 \textbf{阻尼振荡轨迹}。为解决此问题，我们提出了 RankElastor，一种产生 spectrum-robust 表示、可证明缓解 collapse 的新型架构。RankElastor 引入两个组件：(i) \textbf{参数化全混合}，实现具有 improved 谱鲁棒性的表达性 token mixing；(ii) \textbf{GLU 改进的 P-FFN}，通过 GLU 风格的 FFN 模块稳定表示谱。大规模工业数据集上的广泛实验表明，RankElastor 持续地改进了推荐性能，缓解了 embedding collapse，并表现出稳健的 scaling behavior。代码可在 GitHub 仓库 https://github.com/vasile-paskardlgm/RankElastor 获取。
关键词
引用
@article{arxiv.2605.23191,
title = {Expand More, Shrink Less: Shaping Effective-Rank Dynamics for Dense Scaling in Recommendation},
author = {Guoming Li and Shangyu Zhang and Junwei Pan and Wentao Ning and Jin Chen and Gengsheng Xue and Chao Zhou and Shudong Huang and Haijie Gu and Menglin Yang},
journal= {arXiv preprint arXiv:2605.23191},
year = {2026}
}
备注
Accepted at the 32st ACM SIGKDD Conference on Knowledge Discovery and Data Mining (Research Track), KDD 2026 February Cycle