深度S型网络的Jeffreys先验采样
无序系统与神经网络
2017-05-31 v1 计算机视觉与模式识别
摘要
神经网络已被证明具有揭示数据中低维结构的非凡能力：可能的重构图像空间在图像空间中形成了一个约化的模型流形。我们通过使用蒙特卡洛采样分析深度置信网络和堆叠去噪自编码器所学习的流形，直接探索了这一想法。模型流形形成一个仅略微拉长的超球，而实际的重构数据主要出现在该流形的边界上。结合我们所呈现的结果，我们讨论了高维流形采样的问题，以及近期工作[M. Transtrum, G. Hart, and P. Qiu, Submitted (2014)]中关于高维几何与模型约化之间关系的讨论。
引用
@article{arxiv.1705.10589,
title = {Jeffrey's prior sampling of deep sigmoidal networks},
author = {Lorien X. Hayden and Alexander A. Alemi and Paul H. Ginsparg and James P. Sethna},
journal= {arXiv preprint arXiv:1705.10589},
year = {2017}
}