基于蒸馏的场景自适应混合专家模型用于多场景推荐的匹配阶段
信息检索
2026-01-07 v1 人工智能
摘要
多场景推荐对于优化用户在不同情境下的体验至关重要。尽管多门混合专家（MMOE）在排序中表现出色，但其向匹配阶段的迁移受限于独立双塔架构中盲目优化以及头部场景的参数主导问题。为解决这些结构性和分布性瓶颈，我们提出基于蒸馏的场景自适应混合专家模型（DSMOE）。我们专门设计了场景自适应投影（SAP）模块，以生成轻量级、特定于上下文的参数，有效防止长尾场景中专家崩溃。同时，我们引入了跨架构的知识蒸馏框架， interaction-aware 的教师指导双塔学生捕捉复杂的匹配模式。大规模实验表明，DSMOE 在实际数据集上表现优异，尤其在显著提升数据稀疏、代表性不足场景的检索质量方面。
引用
@article{arxiv.2601.02368,
title = {Distillation-based Scenario-Adaptive Mixture-of-Experts for the Matching Stage of Multi-scenario Recommendation},
author = {Ruibing Wang and Shuhan Guo and Haotong Du and Quanming Yao},
journal= {arXiv preprint arXiv:2601.02368},
year = {2026}
}