RandomOut：使用卷积梯度范数挽救卷积滤波器
计算机视觉与模式识别
2017-05-30 v3
摘要
卷积神经网络中的滤波器对其初始化敏感。用于初始化滤波器的随机数是一种偏置，并决定你是否会“赢”并收敛到满意的局部极小值，因此我们称之为滤波器彩票（The Filter Lottery）。我们观察到，仅改变随机种子时，不带批量归一化（Batch Normalization）的28x28 Inception-V3模型有26%的次数训练失败。这是一个影响网络设计试错过程的问题。因为随机种子有巨大影响，使得在不尝试许多不同随机起始权重的情况下难以评估网络设计。本工作旨在减少初始权重施加的偏置，使网络更一致地收敛。我们提出评估并替换对预测影响甚微的特定卷积滤波器。我们使用梯度范数来评估滤波器对误差的影响，当其权重的梯度范数低于特定阈值时重新初始化滤波器。这在28x28 Inception-V3上一致地提升了准确率，中位提升为+3.3%。实际上，我们的方法RandomOut增加了所探索的滤波器数量而不增大网络规模。我们观察到RandomOut方法具有更一致的泛化性能，在改变随机种子时标准差为1.3%而非2%，且做到更快、参数更少。
引用
@article{arxiv.1602.05931,
title = {RandomOut: Using a convolutional gradient norm to rescue convolutional filters},
author = {Joseph Paul Cohen and Henry Z. Lo and Wei Ding},
journal= {arXiv preprint arXiv:1602.05931},
year = {2017}
}
备注
Extended version of the ICLR 2016 workshop track paper