多任务深度学习中的梯度相似性手术
机器学习
2025-06-09 v1 计算机视觉与模式识别
摘要
多任务学习 (MTL) 范式旨在单个模型中同时学习多个任务，从而捕获由这些任务共享的更高层次的更通用隐藏模式。在深度学习中，反向传播训练过程中面临的一个重要挑战是设计高级优化器以提高梯度下降学习规则的收敛速度和稳定性。特别是在多任务深度学习 (MTDL) 中，多个任务可能产生潜在冲突的梯度，从而阻碍各损失函数的并行收敛。这一挑战源于任务目标的梯度具有不同大小或相反方向，导致一个或几个主导或干扰其他梯度，从而降低训练过程。梯度手术方法通过调整整体梯度轨迹来显式处理冲突的梯度。本工作引入一种新的梯度手术方法，即基于梯度大小相似性度量的相似性感知动量梯度手术 (SAM-GS)，为优化过程提供一种有效且可扩展的方法。SAM-GS 手术采用梯度等化和调制一阶动量。一系列实验测试表明，SAM-GS 在合成问题和 MTL 基准测试上均显示出良好的效果。梯度大小的相似性在 MTDL 中正规化梯度聚合方面发挥关键作用，以优化学习过程。
引用
@article{arxiv.2506.06130,
title = {Gradient Similarity Surgery in Multi-Task Deep Learning},
author = {Thomas Borsani and Andrea Rosani and Giuseppe Nicosia and Giuseppe Di Fatta},
journal= {arXiv preprint arXiv:2506.06130},
year = {2025}
}
备注
Paper accepted at ECMLPKDD 2025