推荐系统中多任务排序模型的参数更新平衡算法

多任务排序模型已成为现代真实世界推荐系统不可或缺的一部分。虽然大多数推荐研究专注于为特定场景设计复杂的模型，但在各种场景中实现多任务排序模型的性能提升仍然是一个重大挑战。对所有任务进行朴素训练可能导致学习不一致，这凸显了开发多任务优化（MTO）方法以应对这一挑战的必要性。传统方法假设共享参数上的最优联合梯度会导致最优参数更新。然而，当使用基于动量的优化器（如Adam）时，模型参数的实际更新可能与梯度显著偏离，我们设计并执行了统计实验来支持这一观察。在本文中，我们提出了一种新颖的多任务优化参数更新平衡算法，记为PUB。与传统的基于梯度级任务融合或损失级任务融合的MTO方法不同，PUB是第一个通过参数更新平衡来优化多个任务的工作。在基准多任务排序数据集上的全面实验表明，PUB持续改进了多个多任务骨干网络，并达到了最先进的性能。此外，在基准计算机视觉数据集上的实验显示了PUB在各种多任务学习场景中的巨大潜力。此外，我们在真实世界的商业平台——华为应用市场上部署了我们的方法进行工业评估，PUB显著提升了在线多任务排序模型，有效管理了一个关键渠道的主要流量。