基于高斯混合模型的内存高效伪标签化用于在线源自由通用域适应
计算机视觉与模式识别
2024-11-13 v2
摘要
在实际应用中，训练和测试数据之间可能出现领域偏移，这需要进行领域适应（DA）以调整预训练的源模型以适应目标域。最近，通用领域适应（UniDA）因解决源域和目标域之间可能出现的额外类别（标签）偏移而受到关注。这意味着目标数据中可能出现新类别，某些源类别可能不存在，或两者同时发生。对于实际应用性，UniDA方法必须处理源自由和在线场景，才能在没有源数据访问的情况下进行适应，并在预测时进行批量更新。在线场景中，跨批保持知识至关重要。然而，现有方法通常需要大量内存，而在嵌入式系统上，内存受限且昂贵。因此，我们将内存效率视为一个额外约束。为了实现内存高效的在线源自由通用领域适应（SF-UniDA），我们提出了一种新方法，通过高斯混合模型（GMM）持续捕获特征空间中已知类别的分布。该方法结合基于熵的异常分布检测，生成可靠的伪标签。最后，我们结合对比损失和KL散度损失进行适应。我们的方法在DomainNet和Office-Home数据集上的所有实验中均实现了最新结果，同时在具有挑战性的VisDA-C数据集上显著优于现有方法，为在线SF-UniDA树立了新基准。我们的代码可在https://github.com/pascalschlachter/GMM获取。
引用
@article{arxiv.2407.14208,
title = {Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model},
author = {Pascal Schlachter and Simon Wagner and Bin Yang},
journal= {arXiv preprint arXiv:2407.14208},
year = {2024}
}
备注
Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2025