基于最大熵与信噪比考察卷积神经网络用于图像分类的特征提取
神经与进化计算
2021-05-11 v1
摘要
卷积神经网络（CNNs）专长于特征提取而非函数映射。在此过程中，它们形成复杂的内部层次化特征表示，其复杂度随网络深度的相应增加而逐渐增大。本文利用最大熵（ME）和信噪比（SNR）考察 CNNs 的特征提取能力，以验证如下观点：CNN 模型应针对给定任务及输入数据的复杂度进行定制。采用 SNR 与 ME 度量，是因为它们分别能准确确定输入数据集中信号信息相对于随机噪声的相对量以及最大信息量。我们使用两个知名的基准数据集 MNIST 和 CIFAR-10 来考察 CNNs 的信息提取与抽象能力。通过实验，我们考察了 CNNs 中的卷积特征提取与抽象能力，并表明 CNNs 的分类准确率或性能极大依赖于输入数据中信号信息的数量、复杂度与质量。此外，我们展示了信息溢出与信息不足对 CNN 分类准确率的影响。我们的假设是：卷积层的特征提取与抽象能力是有限的，因此，应基于输入数据集的 SNR 和 ME 度量，使用尺寸适当的 CNNs 来使 CNN 模型适配输入数据。
引用
@article{arxiv.2105.04097,
title = {Examining convolutional feature extraction using Maximum Entropy (ME) and Signal-to-Noise Ratio (SNR) for image classification},
author = {Nidhi Gowdra and Roopak Sinha and Stephen MacDonell},
journal= {arXiv preprint arXiv:2105.04097},
year = {2021}
}
备注
Conference paper, 6 pages, 1 table