深度究竟多深才够？——量化深度神经网络隐藏层中的类别可分性
机器学习
2022-10-03 v2 机器学习
摘要
深度神经网络在分类复杂数据的能力上通常优于更传统的机器学习模型，然而单个隐藏层如何对整体分类性能做出贡献尚不清楚。因此我们引入一种广义判别值（GDV），以非侵入方式度量不同数据类别在每个给定网络层中的分离程度。GDV 可用于超参数的自动调优，例如网络的宽度剖面和总深度。此外，依赖于层的 GDV(L) 为训练期间自组织的数据变换提供了新见解：在采用误差反向传播训练的多层感知机情况下，我们发现高度复杂数据集的分类需要类别可分性的暂时性{\em 降低}，这在 GDV(L) 曲线初始部分以特征的“能量势垒”为标记。更令人惊讶的是，对于给定的数据集，GDV(L) 会穿过一条固定的“主曲线”，与网络总层数无关。此外，将 GDV 应用于深度信念网络表明，即使系统不“知道”期望的类别标签，使用对比散度方法的无监督训练也能在数十个层中系统性地增加类别可分性。这些结果表明 GDV 可能成为打开深度学习黑箱的有用工具。
引用
@article{arxiv.1811.01753,
title = {How deep is deep enough? -- Quantifying class separability in the hidden layers of deep neural networks},
author = {Achim Schilling and Claus Metzner and Jonas Rietsch and Richard Gerum and Holger Schulze and Patrick Krauss},
journal= {arXiv preprint arXiv:1811.01753},
year = {2022}
}