通过软对比学习与全合一分类器提升跨域新类别发现
计算机视觉与模式识别
2023-07-25 v3
摘要
无监督域自适应（Unsupervised Domain Adaptation, UDA）已被证明在将知识从富标签源域迁移至稀缺标签目标域方面极为有效。然而，目标域中额外新类别的存在催生了开集域自适应（Open-set Domain Adaptation, ODA）与通用域自适应（Universal Domain Adaptation, UNDA）。现有 ODA 与 UNDA 方法将所有新类别视为单一统一的未知类，并试图在训练中检测它。但我们发现，域差异会导致无监督数据增强中出现更显著的视图噪声，影响对比学习（Contrastive Learning, CL）的有效性，并使模型在新类别发现中过度自信。为解决这些问题，我们提出一种名为软对比全合一网络（Soft-contrastive All-in-one Network, SAN）的框架，用于 ODA 与 UNDA 任务。SAN 包含一种新颖的基于数据增强的软对比学习（Soft Contrastive Learning, SCL）损失，用于微调主干网络以实现特征迁移，以及一种更贴合人类直觉的分类器以提升新类发现能力。SCL 损失削弱了在域迁移任务中被放大的数据增强视图噪声问题的不利影响。全合一（All-in-One, AIO）分类器克服了当前主流闭集与开集分类器的过度自信问题。可视化与消融实验证明了所提创新的有效性。此外，在 ODA 与 UNDA 上的大量实验结果表明，SAN 优于现有最优方法。
引用
@article{arxiv.2211.11262,
title = {Boosting Novel Category Discovery Over Domains with Soft Contrastive Learning and All-in-One Classifier},
author = {Zelin Zang and Lei Shang and Senqiao Yang and Fei Wang and Baigui Sun and Xuansong Xie and Stan Z. Li},
journal= {arXiv preprint arXiv:2211.11262},
year = {2023}
}
备注
Accepted by ICCV