用专用 Dropout 调和 DenseNet 中的特征复用与过拟合
计算机视觉与模式识别
2018-10-02 v1
摘要
近来卷积神经网络(CNN)在视觉识别任务中取得了很高的准确度。DenseNet 因其特征复用的有效性而成为最流行的 CNN 模型之一。然而,与其他 CNN 模型一样,DenseNet 也面临过拟合问题,甚至更为严重。现有的 dropout 方法可以应用但效果不佳,原因在于其引入的非线性连接。具体而言,DenseNet 中的特征复用特性会受到阻碍,且 dropout 效果会被特征图内部的空间相关性削弱。为解决这些问题,我们从 dropout 位置、dropout 粒度和 dropout 概率三个方面精心设计了专用 dropout 方法。此处获得的见解有可能作为一种通用方法,用于提升其他具有类似非线性连接的 CNN 模型的准确度。实验结果表明,采用我们专用 dropout 方法的 DenseNet 相较于原始 DenseNet 和 SOTA CNN 模型取得了更好的准确度,且这种准确度提升随模型深度增加而增大。
引用
@article{arxiv.1810.00091,
title = {Reconciling Feature-Reuse and Overfitting in DenseNet with Specialized Dropout},
author = {Kun Wan and Boyuan Feng and Lingwei Xie and Yufei Ding},
journal= {arXiv preprint arXiv:1810.00091},
year = {2018}
}
备注
10 pages, 5 figures