面向实用域适应的批归一化重探
计算机视觉与模式识别
2016-11-09 v4 机器学习
摘要
深度神经网络（DNN）已在各种计算机视觉应用（如图像分类与目标检测）中展现出前所未有的成功。然而，在训练阶段仍有一个常见的烦恼，即必须准备至少数千张标注图像来将网络微调至特定域。近期研究（Tommasi et al. 2015）表明，DNN对训练数据集有强烈的依赖性，且学到的特征若不微调便难以迁移至不同但相关的任务。本文中，我们提出一种简单而强大的补救措施，称为自适应批归一化（Adaptive Batch Normalization, AdaBN），以提升DNN的泛化能力。通过调节整个网络中所有批归一化层的统计量，我们的方法实现了针对域适应任务的深度适应效果。与其他深度学习域适应方法相反，我们的方法不需要额外组件，且是无参数的。尽管其简单得出奇，它却达到了最先进的性能。此外，我们证明了我们的方法与其他现有方法是互补的。将AdaBN与现有域适应处理相结合可进一步提升模型性能。
引用
@article{arxiv.1603.04779,
title = {Revisiting Batch Normalization For Practical Domain Adaptation},
author = {Yanghao Li and Naiyan Wang and Jianping Shi and Jiaying Liu and Xiaodi Hou},
journal= {arXiv preprint arXiv:1603.04779},
year = {2016}
}