用于域适应的互易归一化
计算机视觉与模式识别
2021-12-21 v1
摘要
批归一化（BN）在现代深度神经网络中被广泛使用，已被证明表征与域相关的知识，因而对无监督域适应（UDA）等跨域任务无效。现有 BN 变体方法在归一化模块中将源域与目标域知识聚合于同一通道。然而，跨域对应通道间特征的不对齐常导致次优的可迁移性。本文中，我们利用跨域关系并提出一种新颖的归一化方法——互易归一化（RN）。具体而言，RN 首先提出互易补偿（RC）模块，基于跨域通道相关性为两域中各通道获取补偿量；随后 RN 开发互易聚合（RA）模块，自适应地将特征与其跨域补偿分量聚合。作为 BN 的替代，RN 更适用于 UDA 问题，并可轻松集成至流行的域适应方法中。实验表明，所提 RN 大幅优于现有归一化方法，并助力最先进的适应方法取得更优结果。源代码发布于 https://github.com/Openning07/reciprocal-normalization-for-DA。
引用
@article{arxiv.2112.10474,
title = {Reciprocal Normalization for Domain Adaptation},
author = {Zhiyong Huang and Kekai Sheng and Ke Li and Jian Liang and Taiping Yao and Weiming Dong and Dengwen Zhou and Xing Sun},
journal= {arXiv preprint arXiv:2112.10474},
year = {2021}
}
备注
The best feature normalization module for domain adaptation