深度神经网络训练方法比较
机器学习
2015-04-28 v1 人工智能
摘要
本报告描述了训练神经网络尤其是深度神经网络的困难。随后提供关于深度神经网络训练方法的文献综述，重点在于预训练。聚焦于由受限玻尔兹曼机组成的深度信念网络与堆叠自编码器，并给出对进一步及替代方法的展望。它还收录了文献中关于训练它们的相关实践建议。在第二部分，使用部分涵盖的方法在两个数据库上进行了初步实验。特别地，在 MNIST 手写数字数据集与来自 Kaggle 竞赛的面部情绪数据上进行了实验。结果在其他研究论文所报告结果的背景下进行了讨论。使用优化后的堆叠自编码器取得了低于 Kaggle 竞赛最佳贡献的错误率。
引用
@article{arxiv.1504.06825,
title = {Comparison of Training Methods for Deep Neural Networks},
author = {Patrick O. Glauner},
journal= {arXiv preprint arXiv:1504.06825},
year = {2015}
}
备注
50 pages, 13 figures