通过卷积单元优化改进批量白化的泛化能力
计算机视觉与模式识别
2022-07-28 v2 人工智能
机器学习
摘要
批量白化（Batch Whitening）是一种通过将输入特征变换为零均值（中心化）和单位方差（缩放化），并消除通道间线性相关性（去相关化）来加速和稳定训练的技术。在通常使用且经批量归一化（Batch Normalization）经验优化的结构中，归一化层位于卷积层和激活函数之间。后续的批量白化研究未经进一步分析便沿用了相同的结构；甚至对批量白化的分析也是在线性层输入被白化的前提下进行的。为弥合这一差距，我们提出了一种符合理论的新型卷积单元，并且我们的方法普遍提升了批量白化的性能。此外，我们通过研究特征的秩和相关性，揭示了原始卷积单元的低效性。由于我们的方法可直接用于现有的白化模块，我们采用了当前最先进的白化模块——迭代归一化（IterNorm），并在五个图像分类数据集上取得了显著的性能提升：CIFAR-10、CIFAR-100、CUB-200-2011、Stanford Dogs 和 ImageNet。值得注意的是，我们验证了在使用大学习率、大组大小和大迭代次数时，我们的方法能提升白化的稳定性和性能。
引用
@article{arxiv.2108.10629,
title = {Improving Generalization of Batch Whitening by Convolutional Unit Optimization},
author = {Yooshin Cho and Hanbyel Cho and Youngsoo Kim and Junmo Kim},
journal= {arXiv preprint arXiv:2108.10629},
year = {2022}
}
备注
ICCV 2021