通过学习域感知批归一化实现测试时域自适应
计算机视觉与模式识别
2024-01-18 v2
摘要
测试时域自适应旨在利用少量无标签图像，将源域训练的模型适应到未见过的目标域。新兴研究表明，标签和域信息分别嵌入在权重矩阵和批归一化（BN）层中。以往工作通常朴素地更新整个网络，没有显式解耦标签和域知识，导致知识干扰和分布适应缺陷。本文提出仅通过操纵BN层来减少这种学习干扰并提升域知识学习。然而，当从少量样本重新估计统计量时，BN中的归一化步骤本质上不稳定。我们发现，仅更新BN中的两个仿射参数而保留源域统计量可以大大减少歧义。为了进一步增强从无标签数据中提取域知识，我们构建了一个辅助分支，使用与标签无关的自监督学习（SSL）提供监督。此外，我们提出基于元学习的双层优化，强制对齐辅助分支和主分支的两个学习目标。目标是使用辅助分支适应域，并为主任务后续推理带来好处。我们的方法在推理时保持相同的计算成本，因为辅助分支在适应后可以完全丢弃。大量实验表明，我们的方法在五个WILDS真实世界域偏移数据集上优于先前工作。我们的方法还可以与依赖标签优化的方法集成，进一步推动性能边界。代码见https://github.com/ynanwu/MABN。
引用
@article{arxiv.2312.10165,
title = {Test-Time Domain Adaptation by Learning Domain-Aware Batch Normalization},
author = {Yanan Wu and Zhixiang Chi and Yang Wang and Konstantinos N. Plataniotis and Songhe Feng},
journal= {arXiv preprint arXiv:2312.10165},
year = {2024}
}
备注
AAAI2024(Oral), see this https URL: https://github.com/ynanwu/MABN