用于深度表征学习的可切换白化
计算机视觉与模式识别
2019-12-13 v4
摘要
归一化方法是卷积神经网络（CNNs）的重要组成部分。它们使用在预定义像素集中估计的统计量对数据进行标准化或白化处理。与现有为特定任务设计归一化技术的工作不同，我们提出了可切换白化（SW），它提供了一种统一不同白化方法以及标准化方法的通用形式。SW 以端到端方式学习在这些操作间进行切换。它具有若干优势。首先，SW 为不同任务自适应地选择合适的白化或标准化统计量（见图1），使其无需手动设计便非常适用于广泛任务。其次，通过整合不同归一化器的优势，SW 在各种具有挑战性的基准测试中相比其对应方法显示出一致改进。第三，SW 可作为理解白化和标准化技术特征的有用工具。我们表明 SW 在图像分类（CIFAR-10/100、ImageNet）、语义分割（ADE20K、Cityscapes）、域适应（GTA5、Cityscapes）和图像风格迁移（COCO）上优于其他替代方法。例如，不加任何额外技巧，我们在 ADE20K 数据集上以 45.33% mIoU 取得了最先进性能。代码见 https://github.com/XingangPan/Switchable-Whitening。
引用
@article{arxiv.1904.09739,
title = {Switchable Whitening for Deep Representation Learning},
author = {Xingang Pan and Xiaohang Zhan and Jianping Shi and Xiaoou Tang and Ping Luo},
journal= {arXiv preprint arXiv:1904.09739},
year = {2019}
}
备注
Accepted to ICCV2019