无源域自适应需要惩罚化多样性
机器学习
2023-04-13 v2 计算机视觉与模式识别
摘要
尽管神经网络能够在诸如图像分类等许多任务中实现类人性能，但每个模型的出色表现仅限于其自身的数据集。引入无源域自适应 (SFDA) 是为了在缺乏源数据的情况下解决不同域之间的知识迁移问题，从而提高数据隐私。表示空间中的多样性对于模型在多变且困难域中的自适应能力至关重要。在无监督 SFDA 中，多样性仅限于在源数据上学习单个假设，或使用共享特征提取器学习多个假设。受集成方法预测性能提升的启发，我们提出了一种新颖的无监督 SFDA 算法，该算法通过使用具有不同骨干架构 (DBA) 的独立特征提取器来促进表示多样性。尽管特征空间中的多样性有所增加，但无约束的互信息 (MI) 最大化可能会引入对弱假设的放大。因此，我们引入弱假设惩罚 (WHP) 正则化项作为缓解策略。我们的工作提出了惩罚化多样性 (PD)，将 DBA 和 WHP 的协同作用应用于协变量偏移下的无监督无源域自适应。此外，针对标签分布偏移，PD 增加了加权 MI 最大化目标。在自然、合成和医学域上的实验结果证明了 PD 在不同分布偏移下的有效性。
引用
@article{arxiv.2304.02798,
title = {Source-free Domain Adaptation Requires Penalized Diversity},
author = {Laya Rafiee Sevyeri and Ivaxi Sheth and Farhood Farahnak and Alexandre See and Samira Ebrahimi Kahou and Thomas Fevens and Mohammad Havaei},
journal= {arXiv preprint arXiv:2304.02798},
year = {2023}
}