深度神经网络各层数据流在分类与回归问题中的评估
计算机视觉与模式识别
2019-06-14 v1 人工智能
信息论
机器学习
math.IT
摘要
本文引入了两个简单有效的指标，用于评估输入数据以及流经前馈深度神经网络各层的数据。对于分类问题，数据流空间中目标标签的分离率被解释为衡量所设计层在提升网络泛化能力方面表现的关键因素。基于这一概念，提出了一个与形状无关的、基于距离的分离评估指标。类似地，对于回归问题，数据流空间中目标输出的平滑率被解释为衡量所设计层在提升网络泛化能力方面表现的关键因素。根据所阐述的平滑概念，为回归问题提出了一个与形状无关的、基于距离的平滑指标。为了更严格地考虑分离和平滑的概念，引入了它们的扩展版本，并通过将回归问题解释为分类问题，展示了分离指标和平滑指标是相互关联的。通过四个案例研究，展示了使用所引入指标的益处。在第一个案例研究中，针对分类和回归问题，分别用所提出的分离指标和平滑指标比较了一些已知输入数据集的挑战性。在第二个案例研究中，评估了在Cifar10和Cifar100分类任务中，两个预训练VGG 16网络各层的数据流质量。在第三个案例研究中，展示了正确分类率与分离指标在各层之间几乎是等价的，尤其是在分离指标增加时。在最后一个案例研究中，使用所提出的平滑指标，逐层比较了两个为预测波士顿房价而设计的多层神经网络。
引用
@article{arxiv.1906.05156,
title = {Evaluation of Dataflow through layers of Deep Neural Networks in Classification and Regression Problems},
author = {Ahmad Kalhor and Mohsen Saffar and Melika Kheirieh and Somayyeh Hoseinipoor and Babak N. Araabi},
journal= {arXiv preprint arXiv:1906.05156},
year = {2019}
}