通过子空间正交投影实现梯度解冲突的多任务学习

尽管多任务学习(MTL)已成为首选方法并成功应用于许多现实场景，但MTL模型并不能保证在所有任务上都优于单任务模型，主要源于任务间冲突梯度的负面影响。在本文中，我们全面审视了冲突梯度的影响，并进一步强调了实现非冲突梯度的重要性与优势——这使得在各任务之间可以采用简单而有效的权衡策略并获得稳定的性能。基于我们的发现，我们提出了通过由其他任务特定梯度张成的子空间上的正交投影实现梯度解冲突的方法(GradOPS)。我们的方法不仅解决了所有任务间的冲突，还能有效搜索通向不同任务间权衡偏好的多样化解。我们提供了收敛性的理论分析，并在多个领域的多个基准测试上充分验证了算法的性能。结果表明，我们的方法能够在多个数据集上针对多个任务有效找到具有不同权衡策略的多个最先进解。