基于堆叠的深度神经网络：用于模式分类的深度解析网络
计算机视觉与模式识别
2019-05-09 v2
摘要
基于堆叠的深度神经网络(S-DNN)将一个接一个的多个基础学习模块聚合起来，以合成一种用于模式分类的深度神经网络(DNN)替代方案。与通过反向传播(BP)端到端训练的DNN不同，每个S-DNN层(即可自学习模块)被决定性且独立地训练，无需BP干预。本文设计了一种基于岭回归的S-DNN，称为深度解析网络(DAN)，及其核化版本(K-DAN)，用于从预提取的基线特征和结构化特征中进行多层特征重学习。我们的理论公式表明，DAN/K-DAN通过扰动类内/类间差异来重学习，同时减少预测误差。我们细致考察了DAN/K-DAN在跨域数据集(如人脸、手写数字、通用物体)上用于模式分类的性能。与通常由GPU从海量数据集训练的典型的BP优化DNN不同，我们揭示DAN/K-DAN即使对于小规模训练集也仅用CPU即可训练。我们的实验结果表明，在未应用数据增强的情况下，DAN/K-DAN优于现有的S-DNN以及BP训练的DNN，包括多层感知机、深度信念网络等。
引用
@article{arxiv.1811.07184,
title = {Stacking-Based Deep Neural Network: Deep Analytic Network for Pattern Classification},
author = {Cheng-Yaw Low and Jaewoo Park and Andrew Beng-Jin Teoh},
journal= {arXiv preprint arXiv:1811.07184},
year = {2019}
}
备注
14 pages, 7 figures, 11 tables