GCond：面向大规模多任务学习的基于累积稳定化的梯度冲突解决方法
摘要
在多任务学习（MTL）中，梯度冲突构成了一个重大挑战。解决此问题的有效方法，包括 PCGrad、CAGrad 和 GradNorm，在其原始实现中计算量很大，这极大地限制了它们在 Transformer 等现代大型模型中的应用。我们提出了梯度指挥家（Gradient Conductor, GCond），该方法基于 PCGrad 原理，并将其与梯度累积和自适应仲裁机制相结合。我们在 ImageNet 1K 数据集以及一个头颈部 CT 扫描组合数据集上，使用 MobileNetV3-Small 和 ConvNeXt 架构，在自监督多任务学习任务上评估了 GCond，并将所提方法与基线线性组合及最先进的梯度冲突解决方法进行了比较。我们分析了 GCond 的经典方法和随机方法。GCond 的随机模式在保持优化质量的同时实现了两倍的计算加速，并在所有评估指标上表现出卓越性能，在两个数据集上均实现了比其他方法更低的 L1 和 SSIM 损失，并在异构场景中展示了优越的泛化能力：GCond 将 ImageNet Top-1 准确率比基线提高了 4.5%，并防止了医学诊断任务中的置信度过拟合。GCond 表现出高可扩展性，成功应用于紧凑模型 MobileNetV3-Small 和 ConvNeXt-tiny 以及大型架构 ConvNeXtV2-Base。它还显示出与 AdamW 和 Lion/LARS 等现代优化器的兼容性。因此，GCond 为多任务学习中的梯度冲突问题提供了一个可扩展且高效的解决方案。
引用
@article{arxiv.2509.07252,
title = {GCond: Gradient Conflict Resolution via Accumulation-based Stabilization for Large-Scale Multi-Task Learning},
author = {Evgeny Alves Limarenko and Anastasiia Studenikina and Svetlana Illarionova and Maxim Sharaev},
journal= {arXiv preprint arXiv:2509.07252},
year = {2026}
}
备注
Published in IEEE Access. This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 License (CC BY-NC-ND 4.0)