借助自然聚类先验理解深度学习

集成到机器学习系统设计中的先验知识（亦称先验）强烈影响其泛化能力。在深度学习这一具体背景下，其中一些先验鲜被理解，因为它们隐式地源于深度学习中涉及的生物脑成功启发式与试探性近似。通过有监督图像分类问题的视角，本论文研究由三条陈述构成的自然聚类先验的隐式集成：（i）自然图像呈现丰富的聚类结构，（ii）图像类别由多个簇组成，（iii）每个簇包含来自单一类别的样本。类别分解为多个簇意味着有监督深度学习系统可受益于无监督聚类以定义恰当的决策边界。因此，本论文试图识别深度学习系统中隐式的聚类能力、机制与超参数，并评估其与解释这些系统泛化能力的关联性。我们通过深度神经网络训练动态的广泛实证研究以及神经元与层级表征来实现这一点。所得实验集合为自然聚类先验对于理解深度学习的相关性提供了初步证据。