用于提升深度神经网络鲁棒性的分布失配校正
机器学习
2021-10-06 v1 计算机视觉与模式识别
摘要
深度神经网络严重依赖归一化方法来提升其性能与学习行为。尽管归一化方法促进了日益深层且高效架构的发展，它们也增加了对噪声与输入损坏的脆弱性。然而，在大多数应用中，噪声无处不在且多样；这常导致机器学习系统的完全失效，因为它们无法应对训练时与测试时输入分布之间的失配。最常见的归一化方法批量归一化减少了训练期间的分布偏移，但对测试期间输入分布的变化不敏感。这使得批量归一化在测试期间存在噪声时容易出现性能退化。基于样本的归一化方法可校正激活分布的线性变换，但无法缓解分布形状的变化；这使得网络对无法在归一化参数中反映的分布变化脆弱。我们提出一种无监督非参数分布校正方法，自适应调整每层的激活分布。该方法通过最小化一维 Wasserstein 距离来减小训练与测试时分布之间的失配。在我们的实验中，我们凭经验表明所提方法有效降低了强烈图像损坏的影响，从而无需重新训练或微调模型即改善了分类性能。
引用
@article{arxiv.2110.01955,
title = {Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks},
author = {Alexander Fuchs and Christian Knoll and Franz Pernkopf},
journal= {arXiv preprint arXiv:2110.01955},
year = {2021}
}