深度学习方法层间函数映射的表征
机器学习
2019-09-25 v2 机器学习
摘要
深度学习架构在物体分类上已展现出最先进的性能，并在商业产品中无处不在。这些方法常被应用而不理解：(a) 给定输入数据时分类任务的难度，以及 (b) 特定深度学习架构如何变换该数据。为回答 (a) 与 (b)，我们展示了类分离的多变量非参数估计量——Henze-Penrose (HP) 统计量——在原始及层诱导表示中的效用。给定一个 类问题，我们的贡献将 HP 统计量的 种组合定义为类对分离分布的一个样本。这使我们能够表征模型每一层所诱导的类分离的分布变化。Fisher置换检验用于检测模型内统计显著的变化。通过比较层间的HP统计量分布，可从统计上表征：训练过程中的层适应、每一层对分类任务的贡献，以及训练与验证数据间一致性的存在与否。我们使用带有随机标签的CIFAR10、CIFAR10及MNIST数据集在一个简单深度神经网络上进行了演示。
引用
@article{arxiv.1907.04223,
title = {Characterizing Inter-Layer Functional Mappings of Deep Learning Models},
author = {Donald Waagen and Katie Rainey and Jamie Gantert and David Gray and Megan King and M. Shane Thompson and Jonathan Barton and Will Waldron and Samantha Livingston and Don Hulsey},
journal= {arXiv preprint arXiv:1907.04223},
year = {2019}
}