去噪自编码器的传输分析：一种分析深度神经网络的新方法
机器学习
2017-12-13 v1 机器学习
摘要
通过确定去噪自编码器 (DAE) 的传输动力学来研究其所得特征映射，这是深度学习的基石。尽管应用发展迅速，深度神经网络在解析上仍未被解释，因为特征映射是嵌套的且参数不忠实。在本文中，我们将特征映射视为传输映射，以解决参数嵌套复杂体的表述问题。即使特征映射在输入与输出间维度不同，我们也可通过将上述输入输出空间嵌入同一高维空间而将其视为传输映射。此外，轨迹是几何对象，因而独立于参数化。如此，传输可被视为深度神经网络的普遍特征。通过确定并分析传输动力学，我们能理解深度神经网络的行为。本文研究深度神经网络的基本情形：DAE。我们推导了 DAE 的传输映射，并揭示无限深 DAE 会传输质量以降低数据分布的某一量（如熵）。这些结果虽解析简单，却阐明了深度神经网络与 Wasserstein 梯度流之间的对应。
引用
@article{arxiv.1712.04145,
title = {Transportation analysis of denoising autoencoders: a novel method for analyzing deep neural networks},
author = {Sho Sonoda and Noboru Murata},
journal= {arXiv preprint arXiv:1712.04145},
year = {2017}
}
备注
Accepted at NIPS 2017 workshop on Optimal Transport & Machine Learning (OTML2017)