利用负图像检验并缓解卷积神经网络中的核饱和
计算机视觉与模式识别
2021-05-11 v1 神经与进化计算
摘要
深度神经网络（DNN）中的神经饱和已被广泛研究，但在卷积神经网络（CNN）中仍相对未被探索。理解并缓解卷积核饱和的影响，对于提升 CNN 模型的分类精度至关重要。本文分析了 CNN 中卷积核饱和的影响，并提出一种简单的数据增强技术，通过向训练数据集补充负图像来缓解饱和并提高分类精度。我们假设负图像因其与标准图像具有相同的结构信息但数据表示不同，可提取更丰富的语义特征信息。多样的数据表示降低了核饱和的概率，从而提升核权重更新的有效性。为评估该假设，我们选取 CIFAR-10 和 STL-10 两个数据集，它们具有相似的图片类别但图像分辨率不同，从而有助于更好地理解饱和现象。MNIST 数据集用于凸显该技术对线性可分数据的无效性。我们选用 ResNet CNN 架构，因为其中的跳跃连接确保了最有助于分类精度的重要特征得以保留。结果表明，CNN 确实易受卷积核饱和影响，且相较于在原始数据集上训练的模型，向训练数据集补充负图像能在统计上显著提升分类精度。我们的结果显示在 STL-10 和 CIFAR-10 数据集上准确率分别提升了 6.98% 和 3.16%。
引用
@article{arxiv.2105.04128,
title = {Examining and Mitigating Kernel Saturation in Convolutional Neural Networks using Negative Images},
author = {Nidhi Gowdra and Roopak Sinha and Stephen MacDonell},
journal= {arXiv preprint arXiv:2105.04128},
year = {2021}
}
备注
Conference paper, 6 pages, 3 figures, 1 table