深度神经网络中的层级成核现象
计算机视觉与模式识别
2020-07-10 v2 机器学习
机器学习
摘要
深度卷积网络(DCNs)学习有意义的表示，使得具有相同抽象特征的数据被放置得越来越近。理解这些表示及其生成方式具有毋庸置疑的实际和理论意义。在这项工作中，我们研究了 ImageNet 数据集的概率密度在一些最先进 DCN 的隐藏层中的演化。我们发现初始层生成单峰概率密度，去除了任何与分类无关的结构。在后续层中，密度峰以层级方式出现，反映了概念的语义层级。对应于单个类别的密度峰仅在接近输出处出现，并通过非常急剧的过渡，类似于非均匀液体的成核过程。该过程在输出层的概率密度中留下足迹，其中峰的地形允许重建类别的语义关系。
引用
@article{arxiv.2007.03506,
title = {Hierarchical nucleation in deep neural networks},
author = {Diego Doimo and Aldo Glielmo and Alessio Ansuini and Alessandro Laio},
journal= {arXiv preprint arXiv:2007.03506},
year = {2020}
}