UniMixer：推荐系统中缩放定律的统一架构
信息检索
2026-04-03 v2 人工智能
摘要
近年来，推荐模型的缩放定律引起了越来越多的关注，该定律支配着推荐器性能与参数/FLOPs之间的关系。目前，实现推荐模型缩放有三种主流架构，即基于注意力、基于TokenMixer和基于分解机的方法，它们在设计哲学和架构结构上存在根本差异。本文，我们提出了一种统一的推荐系统缩放架构——\textbf{UniMixer}，以提高缩放效率并建立统一理论框架，将主流缩放模块统一起来。通过将基于规则的TokenMixer转换为等价的参数化结构，我们构建了一个广义参数化特征混合模块，允许token混合模式在模型训练过程中被优化和学习。同时，广义参数化token混合去除了TokenMixer中要求头数等于token数的约束。此外，我们为推荐系统建立了统一的缩放模块设计框架，桥接了基于注意力、基于TokenMixer和基于分解机方法之间的联系。为进一步提升缩放ROI，设计了轻量级UniMixing模块——\textbf{UniMixing-Lite}，在显著提升模型性能的同时进一步压缩模型参数和计算开销。缩放曲线如下图所示。进行了大量离线和在线实验以验证\textbf{UniMixer}的优越缩放能力。
引用
@article{arxiv.2604.00590,
title = {UniMixer: A Unified Architecture for Scaling Laws in Recommendation Systems},
author = {Mingming Ha and Guanchen Wang and Linxun Chen and Xuan Rao and Yuexin Shi and Tianbao Ma and Zhaojie Liu and Yunqian Fan and Zilong Lu and Yanan Niu and Han Li and Kun Gai},
journal= {arXiv preprint arXiv:2604.00590},
year = {2026}
}