基于化身原型对齐的类别不平衡无关无源域自适应
计算机视觉与模式识别
2023-05-23 v1
摘要
无源无监督域自适应（SF-UDA）旨在不访问源数据的情况下，将训练良好的源模型适配到无标签目标域。一个关键挑战是域自适应过程中源数据的缺失。为此，我们提出挖掘源模型的隐藏知识并利用其生成源化身原型。我们据此提出对比原型生成与自适应（CPGA）方法。CPGA 包含两阶段：原型生成与原型自适应。在三个 UDA 基准数据集上的大量实验证明了 CPGA 的优越性。然而，现有 SF-UDA 研究隐式假设源域与目标域类别分布均衡，这阻碍了其实际应用。为解决该问题，我们研究一项更实用的 SF-UDA 任务，称为类别不平衡无关 SF-UDA，其中不可见源域与无标签目标域的类别分布均未知且可能任意偏斜。由于源与目标域间协变量偏移与未识别类别分布偏移并存，该任务比普通 SF-UDA 更具挑战性。为应对此任务，我们扩展 CPGA 并提出一种新的目标感知对比原型生成与自适应（T-CPGA）方法。具体而言，为在类别不平衡无关场景下更好地进行原型自适应，T-CPGA 应用一种新的伪标签生成策略，通过利用源模型与额外的对比语言-图像预训练模型的集体智能，识别未知目标类别分布并生成准确伪标签。同时，我们进一步设计目标标签分布感知分类器，使模型适配未知目标类别分布。我们通过实验表明，在类别不平衡无关 SF-UDA 中，T-CPGA 显著优于 CPGA 及其他 SF-UDA 方法。
引用
@article{arxiv.2305.12649,
title = {Imbalance-Agnostic Source-Free Domain Adaptation via Avatar Prototype Alignment},
author = {Hongbin Lin and Mingkui Tan and Yifan Zhang and Zhen Qiu and Shuaicheng Niu and Dong Liu and Qing Du and Yanxia Liu},
journal= {arXiv preprint arXiv:2305.12649},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2106.15326