层次化LoRA MoE用于高效CTR模型扩展
机器学习
2025-10-14 v1 人工智能
信息检索
摘要
深度模型推动了点击-through率（CTR）预测领域的显著进展。虽然通过层叠提升模型表达能力，但逐层顺序计算在高效扩展方面面临挑战。相反，通过Mixture of Experts（MoE）实现水平扩展，激活少数专家并行计算，从而高效扩展，但平坦MoE层可能难以捕捉推荐任务中固有的层次结构。为突破投资回报率（ROI）边界，我们探讨了两种方向的互补优势，提出HiLoMoE框架，即层次化LoRA MoE，实现参数高效的整体扩展。具体而言，HiLoMoE采用轻量级秩1专家实现参数高效的水平扩展，堆叠多个MoE层以实现层次化路由，从而实现组合多样化的专家构成。不同于常规堆叠，HiLoMoE基于前一层得分进行路由，允许所有层并行执行。采用三阶段训练框架确保优化稳定性和专家多样性。在四个公开数据集上的实验表明，HiLoMoE在改善性能-效率权衡方面取得优势，平均AUC提升0.20%，FLOPs减少18.5%。
引用
@article{arxiv.2510.10432,
title = {Hierarchical LoRA MoE for Efficient CTR Model Scaling},
author = {Zhichen Zeng and Mengyue Hang and Xiaolong Liu and Xiaoyi Liu and Xiao Lin and Ruizhong Qiu and Tianxin Wei and Zhining Liu and Siyang Yuan and Chaofei Yang and Yiqun Liu and Hang Yin and Jiyan Yang and Hanghang Tong},
journal= {arXiv preprint arXiv:2510.10432},
year = {2025}
}
备注
13 pages, 9 figures