基于梯度的无监督域适应密集预测视觉任务的类别权重方法
计算机视觉与模式识别
2024-07-02 v1 机器学习
摘要
在无监督域适应(UDA)中，模型在源数据(如合成数据)上进行训练，并在无目标标注的情况下适应目标数据(如真实场景)，但面临类别不平衡问题的挑战仍然是开放的。尽管在弥合域间差异方面取得了显著进展，现有方法在面对高度不平衡的密集预测视觉任务(如语义分割和全景分割)时常常会出现性能下降。由于源域和目标域之间缺乏等效的先验条件，导致在UDA场景中无效地应用那些用于其他领域(如图像分类)的类别不平衡技术。本文提出了一种类别不平衡缓解策略，将类别权重纳入UDA学习损失中，但创新点在于通过损失梯度动态估计这些权重，定义为基于梯度的类别加权(GBW)学习。GBW自然地增加了那些因大量代表类而受阻的类别的贡献，具有无需显式课程学习模式即可自动快速适应训练结果这一优势。广泛的实验验证了GBW在不同架构(卷积和变换器)、UDA策略(对抗性、自训练和熵最小化)、任务(语义和全景分割)以及数据集(GTA和Synthia)上的有效性。分析优势来源，GBW在 consistently 提升了低代表类的召回率。
引用
@article{arxiv.2407.01327,
title = {Gradient-based Class Weighting for Unsupervised Domain Adaptation in Dense Prediction Visual Tasks},
author = {Roberto Alcover-Couso and Marcos Escudero-Viñolo and Juan C. SanMiguel and Jesus Bescós},
journal= {arXiv preprint arXiv:2407.01327},
year = {2024}
}