基于LDA初始化的深度神经网络历史文档图像分割
计算机视觉与模式识别
2017-11-27 v1
摘要
本文提出一种利用线性判别分析（LDA）进行深度神经网络逐层权重初始化的新方法。通常，深度神经网络的权重初始化方式为：随机值、贪婪逐层预训练（通常作为深度信念网络或自编码器）或复用另一网络的层（迁移学习）。因此，需要许多训练周期才能学到有意义的权重，或者需要一个相当相似的数据集来为迁移学习的微调提供种子。本文描述了如何将LDA转化为一个神经层或一个分类层。我们在历史文档上分析了这种初始化技术。首先，我们展示了基于LDA的初始化快速且能带来非常稳定的初始化。此外，针对像素级的版面分析任务，我们研究了基于LDA初始化的有效性，并证明其优于当前最先进的随机权重初始化方法。
引用
@article{arxiv.1710.07363,
title = {Historical Document Image Segmentation with LDA-Initialized Deep Neural Networks},
author = {Michele Alberti and Mathias Seuret and Vinaychandran Pondenkandath and Rolf Ingold and Marcus Liwicki},
journal= {arXiv preprint arXiv:1710.07363},
year = {2017}
}
备注
5 pages