用于提升 DCNN 性能的密集层非迭代重计算
机器学习
2018-09-18 v1 机器学习
摘要
迭代学习方法已成为训练深度卷积神经网络（DCNN）的范式。然而，采用非迭代学习策略可以加速 DCNN 的训练过程，令人惊讶的是，深度学习方法（DL）界很少探索这种方法。这促使本文引入一种非迭代学习策略，该策略消除了 DCNN 顶部密集层或全连接（FC）层上的反向传播（BP），从而降低了训练时间并提高了性能。所提方法利用 Moore-Penrose 逆将当前残差误差拉回每个 FC 层，生成泛化良好的特征。然后利用重计算的特征（即新的泛化特征），根据 Moore-Penrose 逆计算每个 FC 层的权重。我们在六个广泛接受的物体识别基准数据集上评估所提方法：Scene-15、CIFAR-10、CIFAR-100、SUN-397、Places365 和 ImageNet。实验结果表明，所提方法相比 30 种最先进（SOTA）方法取得了显著改进。有趣的是，它还表明任何采用所提方法的 DCNN 都能提供比基于 BP 的原始训练的同网络更好的性能。
引用
@article{arxiv.1809.05606,
title = {Non-iterative recomputation of dense layers for performance improvement of DCNN},
author = {Yimin Yang and Q. M. Jonathan Wu and Xiexing Feng and Thangarajah Akilan},
journal= {arXiv preprint arXiv:1809.05606},
year = {2018}
}
备注
11