深度神经网络隐藏路径的无监督探索

本论文的目标是提高我们对深度人工神经网络创建有意义的表示并能够泛化的内部机制的理解。我们专注于利用无监督学习工具来表征隐藏表示的语义内容这一挑战，这些工具部分由我们开发并在本论文中描述，它们允许利用数据的低维结构。第2章介绍了Gride，一种无需对数据集进行任何降采样即可将数据的内在维数估计为尺度的显式函数的方法。我们的方法基于严格的分布结果，能够量化估计的不确定性。此外，我们的方法简单且计算高效，因为它仅依赖于最近数据点之间的距离。在第3章中，我们研究了一些最先进的深度神经网络中概率密度在隐藏层中的演化。我们发现初始层生成单峰概率密度，消除了任何与分类无关的结构。在后续层中，密度峰值以分层方式出现，反映了概念的语义层次。这个过程在输出层的概率密度中留下了足迹，其中峰值的地形图允许重建类别的语义关系。在第4章中，我们研究了深度神经网络中的泛化问题：向一个插值其训练数据的网络添加参数通常会提高其泛化性能，这与经典的偏差-方差权衡相悖。我们表明，宽神经网络学习冗余表示而不是过拟合虚假相关性，并且只有当网络被正则化且训练误差为零时，冗余神经元才会出现。