应用于文档图像分析的 PCA 初始化深度神经网络
机器学习
2018-04-25 v1 机器学习
摘要
本文提出一种初始化深度神经网络的新方法，即将 PCA 转化为神经层。通常，深度神经网络权重的初始化通过以下三种方式之一完成：1）随机值，2）逐层，通常作为深度信念网络或自编码器，以及 3）重用来自另一个网络的层（迁移学习）。因此，通常需要在学习到有意义的权重之前进行许多训练周期，或者需要一个相当相似的数据集来为迁移学习的微调播种。本文中，我们描述了如何通过生成 PCA 参数的编码器层并进一步添加解码层，将 PCA 转变为自编码器。我们在真实文档上分析了该初始化技术。首先，我们表明基于 PCA 的初始化快速且导致非常稳定的初始化。此外，针对版面分析任务，我们研究了基于 PCA 的初始化的有效性，并表明其优于最先进的随机权重初始化方法。
引用
@article{arxiv.1702.00177,
title = {PCA-Initialized Deep Neural Networks Applied To Document Image Analysis},
author = {Mathias Seuret and Michele Alberti and Rolf Ingold and Marcus Liwicki},
journal= {arXiv preprint arXiv:1702.00177},
year = {2018}
}