MixFormer：稠密特征与序列的协比例扩缩工业推荐系统
信息检索
2026-02-17 v1
摘要
随着工业推荐系统进入规模驱动的时代，Transformer 架构变得越来越受欢迎，以便在更大容量和更长序列上扩展模型。然而，现有的基于 Transformer 的推荐模型仍然结构性地碎片化，其中序列建模和特征交互以独立的模块实现，参数化独立。此类设计引入了根本性的协比例扩缩挑战，因为在有限的计算预算下，模型容量必须在稠密特征交互和序列建模之间进行次优分配。在本工作中，我们提出了 MixFormer，一种为推荐系统量身定制的统一 Transformer 风格架构，它在单个主干中联合建模顺序行为和特征交互。通过统一的参数化，MixFormer 实现了稠密容量和序列长度的有效协比例扩缩，缓解了解耦设计中所见的权衡。此外，集成的体系结构促进了顺序和非顺序表示之间的深层交互，允许高阶特征语义直接信息化序列聚合，从而增强整体表达能力。为确保工业实用性，我们进一步引入了用户-物品解耦策略，以实现效率优化，显著减少冗余计算和推理延迟。在大规模工业数据集上进行的广泛实验表明，MixFormer 在准确率和效率方面始终表现优异。此外，针对两个生产级推荐系统（抖音和抖音 Lite）进行的大规模在线 A/B 测试显示，用户参与度指标（包括活跃天数和应用内使用时长）均实现了持续的改进。
引用
@article{arxiv.2602.14110,
title = {MixFormer: Co-Scaling Up Dense and Sequence in Industrial Recommenders},
author = {Xu Huang and Hao Zhang and Zhifang Fan and Yunwen Huang and Zhuoxing Wei and Zheng Chai and Jinan Ni and Yuchao Zheng and Qiwei Chen},
journal= {arXiv preprint arXiv:2602.14110},
year = {2026}
}