具备快速重训练的深度网络
机器学习
2021-01-06 v2
摘要
近期工作[1]在深度卷积神经网络（DCNN）学习中利用了 Moore-Penrose（MP）逆，相较采用随机梯度下降（SGD）流程的 DCNN 取得了更好的泛化性能。然而，Yang 的工作因对超参数高度敏感且对计算资源要求严苛，在实践中未获广泛采用。为提升其适用性，本文提出一种新颖的基于 MP 逆的快速重训练策略。在每个训练周期中，首先采用控制反向传播中所训练卷积层数量的随机学习策略。随后，开发基于 MP 逆的逐批次学习策略，使网络无需工业级计算资源即可实现，用以精调稠密层参数。实验结果经验性地表明，快速重训练是一种可用于所有 DCNN 的统一策略。相较于其他学习策略，所提学习流程对超参数具有鲁棒性，且计算资源需求显著降低。[1] Y. Yang, J. Wu, X. Feng, and A. Thangarajah, "Recomputation of dense layers for the perfor-238mance improvement of dcnn," IEEE Trans. Pattern Anal. Mach. Intell., 2019.
引用
@article{arxiv.2008.07387,
title = {Deep Networks with Fast Retraining},
author = {Wandong Zhang and Yimin Yang and Jonathan Wu},
journal= {arXiv preprint arXiv:2008.07387},
year = {2021}
}