从方差偏移理解 Dropout 与批归一化之间的不和谐
机器学习
2018-01-17 v1 机器学习
摘要
本文首次从理论和统计两方面回答了“为何两种最强大的技术 Dropout 和批归一化(BN)在结合使用时常常导致更差的性能？”这一问题。理论上，我们发现当我们将网络状态从训练转移到测试时，Dropout 会偏移特定神经单元的方差。然而，BN 会在测试阶段维持其统计方差，该方差是从整个学习过程中累积而来的。该方差的不一致性(我们称此现象为“方差偏移”)导致了推理中数值行为的不稳定，最终在使用 Dropout 先于 BN 时带来更多错误预测。在 DenseNet、ResNet、ResNeXt 和 Wide ResNet 上的详尽实验证实了我们的发现。根据所揭示的机制，我们接下来探索了几种修改 Dropout 的策略，并试图通过避免方差偏移风险来克服它们组合的限制。
引用
@article{arxiv.1801.05134,
title = {Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift},
author = {Xiang Li and Shuo Chen and Xiaolin Hu and Jian Yang},
journal= {arXiv preprint arXiv:1801.05134},
year = {2018}
}
备注
9 pages, 7 figures