基于深度卷积神经网络的逐层网络训练与传统网络训练的比较
计算机视觉与模式识别
2023-05-12 v2
摘要
卷积神经网络（CNNs）因其在从数据中提取特征方面的有效性而被广泛应用于各种任务。然而，CNN 的性能严重依赖于其架构和训练过程。在本研究中，我们提出一种逐层训练方法，并将其性能与传统训练方法进行比较。在逐层训练方法中，我们将部分前层视为学生网络，后层视为教师网络。在每步训练中，我们增量地训练学生网络以从教师网络的输出中学习，反之亦然。我们在无预训练 ImageNet 权重的 VGG16、ResNext 和 DenseNet 网络以及一个常规 CNN 模型上评估该方法。我们的实验表明，逐层训练方法对两种模型均优于传统训练方法。具体而言，与使用传统训练方法相比，采用逐层训练的 VGG16、ResNext 和 DenseNet 网络及 CNN 模型在测试集上取得了更高的准确率。总体而言，我们的研究突出了 CNN 中逐层训练的重要性，并表明逐层训练可作为提升 CNN 准确率的一种有前景的方法。
引用
@article{arxiv.2303.15245,
title = {Comparison between layer-to-layer network training and conventional network training using Deep Convolutional Neural Networks},
author = {Kiran Kumar Ashish Bhyravabhottla and WonSook Lee},
journal= {arXiv preprint arXiv:2303.15245},
year = {2023}
}
备注
7 pages, 1 table