无监督域适应中的梯度协调

无监督域适应（UDA）旨在将知识从有标签的源域迁移到无标签的目标域。许多现有方法通过同时优化域对齐和分类任务来学习既具有判别性又跨域不变的特征表示。然而，这些方法常常忽略一个关键挑战：基于梯度的优化过程中这两个任务之间的固有冲突。本文深入探讨了这一问题，并提出了两种有效的解决方案——梯度协调（Gradient Harmonization），包括GH和GH++，以缓解域对齐和分类任务之间的冲突。GH通过改变不同任务之间的梯度角度从钝角变为锐角来解决冲突，从而以协调的方式处理两个任务之间的权衡。然而，这会导致两个任务都偏离其原始优化方向。因此，我们进一步提出改进版本GH++，它将任务间的梯度角度从钝角调整为直角。这不仅消除了冲突，还最小了偏离原始梯度方向的程度。最后，为了优化方便和效率，我们通过积分算子将梯度协调策略演化为动态加权损失函数。值得注意的是，GH/GH++与UDA正交，可以无缝集成到大多数现有的UDA模型中。理论分析和实验结果表明，所提出的方法不仅增强了流行的UDA基线，还提升了最新的最先进模型。