无需调参：基于拉格朗日微分乘子法的优先多任务学习

鉴于多任务在实际系统中的普遍性，多任务学习（MTL）已在各个领域得到广泛应用。在现实场景中，这些任务通常具有不同的优先级。例如，在网页搜索中，相关性通常优先于点击率或用户参与度等其他指标。现有框架对不同任务之间的优先级关注不足，通常通过调整特定任务的损失函数权重来区分任务优先级。然而，随着任务数量的增加，这种方法遇到了挑战，导致超参数调优复杂度呈指数级增长。此外，多个目标的同步优化可能会因低优先级任务的干扰而对高优先级任务的性能产生负面影响。在本文中，我们引入了一个采用拉格朗日微分乘子法进行分步多任务优化的新型多任务学习框架。它旨在提升高优先级任务的性能，而不受其他任务的干扰。其主要优势在于能够自动优化多个目标，而无需为不同任务设置平衡超参数，从而消除了手动调优的需要。此外，我们提供了理论分析，证明我们的方法确保了优化保证，增强了过程的可靠性。我们通过在多个公共数据集上的实验及其在淘宝搜索这一大规模工业搜索排序系统中的应用，证明了其有效性，在各项业务指标上均取得了显著改善。