三明治批量归一化：应对特征分布异质性的即插即用替代方案
计算机视觉与模式识别
2021-10-18 v2 人工智能
机器学习
摘要
我们提出三明治批量归一化（Sandwich Batch Normalization，SaBN），这是一种仅需改动几行代码即可实现的、令人惊讶地简单的批量归一化（Batch Normalization，BN）改进方法。SaBN 的动机在于解决许多任务中可识别的固有特征分布异质性，其可能源于数据异质性（多输入域）或模型异质性（动态架构、模型条件化等）。我们的 SaBN 将 BN 仿射层分解为一个共享的三明治仿射层，并级联多个并行独立仿射层。具体分析表明，在优化过程中，SaBN 促进平衡的梯度范数，同时保留多样的梯度方向——这一性质似乎为许多应用任务所青睐。我们展示了 SaBN 作为即插即用替代方案在四项任务中的普遍有效性：条件图像生成、神经架构搜索（NAS）、对抗训练与任意风格迁移。借助 SaBN，使用三种最先进 GAN 在 CIFAR-10 与 ImageNet 条件图像生成上立即取得了更好的 Inception Score 与 FID；在 NAS-Bench-201 上显著提升了最先进权重共享 NAS 算法的性能；大幅提高了对抗防御的鲁棒与标准准确率；并产生了更优的任意风格化结果。我们还提供可视化与分析以帮助理解 SaBN 为何有效。代码见：https://github.com/VITA-Group/Sandwich-Batch-Normalization。
引用
@article{arxiv.2102.11382,
title = {Sandwich Batch Normalization: A Drop-In Replacement for Feature Distribution Heterogeneity},
author = {Xinyu Gong and Wuyang Chen and Tianlong Chen and Zhangyang Wang},
journal= {arXiv preprint arXiv:2102.11382},
year = {2021}
}
备注
Accepted to WACV 2022