利用辅助学习改进大规模推荐系统
机器学习
2026-04-23 v3
摘要
在单一全局目标下训练大规模推荐模型隐含地假设了用户群体的同质性。然而，真实世界的数据是由具有不同条件分布的异质队列组成的复合体。随着模型规模和复杂性的增加以及用于训练的数据增多，模型逐渐被中心分布模式所主导，忽略了头部和尾部区域。这种不平衡限制了模型的学习能力，并可能导致注意力权重不活跃或神经元死亡。在本文中，我们揭示了注意力机制在因子分解机的共享嵌入选择中可以发挥关键作用，并提出通过分析数据集的子结构、暴露具有强分布对比性的子结构来应对这一挑战。与先前通过启发式加权标签或多任务头来缓解此类偏差的研究不同，我们利用部分冲突的辅助标签来正则化共享表示。该方法定制了注意力层的学习过程，在保留与少数队列的互信息的同时提升全局性能。我们在包含数十亿数据点的大规模生产数据集上对六种SOTA模型进行了评估。实验表明，所提出的方法能使因子分解机捕获细粒度的用户-广告交互，整体归一化熵降低高达0.16%，在目标少数队列上获得超过0.30%的增益。
引用
@article{arxiv.2510.02215,
title = {Improving Large-Scale Recommender Systems with Auxiliary Learning},
author = {Mertcan Cokbas and Ziteng Liu and Zeyi Tao and Elder Veliz and Qin Huang and Ellie Wen and Huayu Li and Qiang Jin and Murat Duman and Benjamin Au and Guy Lebanon and Sagar Chordia and Chengkai Zhang},
journal= {arXiv preprint arXiv:2510.02215},
year = {2026}
}