图着色法用于多任务学习

在多任务学习中，当不同目标之间发生冲突时，梯度会产生干扰并减慢收敛速度，从而可能降低最终模型的性能。为此，我们引入了SON-GOKU—a一种调度器，通过计算梯度干扰、构建干扰图，然后应用贪心图着色算法将任务划分为能够良好配合的任务组。在每个训练步骤中，仅激活一个任务组（颜色类），并且随着任务关系在训练过程中不断变化，分组划分不断重新计算。通过确保每个小批量中仅包含相互方向一致的任务，我们的方法无需额外调参，即可提高任何底层多任务学习优化器的效果。由于同一组内的任务将以兼容的方向更新，多任务学习将提升模型性能而非阻碍其性能。在六个不同数据集上的实验结果表明，此干扰感知图着色方法持续优于基线方法和最先进的多任务优化器。我们提供了大量理论，阐明为何分组和顺序更新能改善多任务学习，并对梯度下降、收敛以及准确识别任务冲突或一致性提供了保证。