多预训练深度神经网络
神经与进化计算
2016-06-03 v1 机器学习
摘要
预训练在深度神经网络中被广泛使用，其中最著名的预训练模型之一是深度信念网络（DBN）。不同预训练模型在预训练过程中的优化公式不同。本文中，我们通过不同的预训练模型预训练深度神经网络，从而考察了DBN与堆叠去噪自编码器（SDA）作为预训练模型时的差异。实验结果表明，DBN得到了更好的初始模型。然而在微调过程后，模型收敛到一个相对较差的模型。但若再次使用SDA预训练，模型在微调后收敛到更好的模型。
引用
@article{arxiv.1606.00540,
title = {Multi-pretrained Deep Neural Network},
author = {Zhen Hu and Zhuyin Xue and Tong Cui and Shiqiang Zong and Chenglong He},
journal= {arXiv preprint arXiv:1606.00540},
year = {2016}
}