BiPC：用于无监督域自适应的双向概率校准
计算机视觉与模式识别
2024-10-01 v1
摘要
无监督域自适应（UDA）利用标记的源域来解决未标记目标域中的任务。虽然基于Transformer的方法在UDA中显示出前景，但它们的应用仅限于普通Transformer，排除了卷积神经网络（CNN）和层次化Transformer。为了解决这些问题，我们从概率空间的角度提出了双向概率校准（BiPC）。我们证明了经过大量预训练后，预训练头的概率输出对领域差距具有鲁棒性，并且可以调整任务头的概率分布。此外，任务头可以在自适应训练期间增强预训练头，通过双向互补提高模型性能。在技术上，我们引入了校准概率对齐（CPA）来调整预训练头的概率，例如来自ImageNet-1k预训练分类器的概率。此外，我们设计了一个校准基尼杂质（CGI）损失来优化任务头，其校准系数从预训练分类器学习得到。BiPC是一种简单而有效的方法，适用于各种网络，包括CNN和Transformer。实验结果表明，它在多个UDA任务上表现出卓越的性能。我们的代码将在以下网址提供：https://github.com/Wenlve-Zhou/BiPC。
关键词
引用
@article{arxiv.2409.19542,
title = {BiPC: Bidirectional Probability Calibration for Unsupervised Domain Adaption},
author = {Wenlve Zhou and Zhiheng Zhou and Junyuan Shang and Chang Niu and Mingyue Zhang and Xiyuan Tao and Tianlei Wang},
journal= {arXiv preprint arXiv:2409.19542},
year = {2024}
}