利用Walsh矩阵强化卷积神经网络的训练
机器学习
2022-01-02 v1 计算机视觉与模式识别
摘要
DNN结构不断发展，并在分类问题中取得高性能。同时观察到，DNN获得的成功率高于传统神经网络。此外，DNN的优势之一在于无需额外费力确定特征；CNN在训练期间自动从数据集中提取特征。尽管有其益处，DNN仍存在以下三个主要缺点：（i）研究者在DNN训练中受困于过拟合与欠拟合问题，（ii）确定DNN的粗略结构可能耗时数天，以及（iii）多数情况下所提网络结构过于庞大而难以用于实时应用。我们修改了DNN的训练与结构，以提升分类性能、减少结构中的节点数，并可使用更少的超参数。在卷积神经网络（CNN）最后一层后采用最小距离网络（MDN）作为分类器，替代全连接神经网络（FCNN）。为强化CNN训练，我们建议使用Walsh函数。我们在ECG、EEG、心音分类、X射线胸片肺炎检测、BGA焊点缺陷检测以及基准数据集（MNIST、IRIS、CIFAR10和CIFAR20）模式分类上测试了所提DNN（命名为DivFE）的性能。在不同领域观察到，使用节点数更少的DivFE获得了更高的分类性能。
引用
@article{arxiv.2104.00035,
title = {Strengthening the Training of Convolutional Neural Networks By Using Walsh Matrix},
author = {Tamer Ölmez and Zümray Dokur},
journal= {arXiv preprint arXiv:2104.00035},
year = {2022}
}
备注
Keyword: Deep neural networks, Convolutional neural network, Pattern recognition, Training deep neural network, Classification. arXiv admin note: substantial text overlap with arXiv:2103.10977