关于深度神经网络所提取特征的相关性的研究
机器学习
2019-01-31 v1 计算机视觉与模式识别
机器学习
摘要
深度神经网络 (DNN) 模型中的冗余一直是其最引人注目且重要的性质之一。已有研究表明 DNN 会过度参数化，或提取大量冗余特征。本工作中，我们探究了尺寸（宽度与深度）、激活函数和权重初始化对深度神经网络模型提取冗余特征倾向的影响。为估计每一层中的冗余特征数量，将给定层的所有特征依据其在特征空间中的相对余弦距离及设定阈值进行层次聚类。结果表明，网络尺寸与激活函数是促使 DNN 提取冗余特征倾向的两个最重要因素。该概念通过使用深度多层感知机与卷积神经网络分别在 MNIST 数字识别和 CIFAR-10 数据集上进行了说明。
引用
@article{arxiv.1901.10900,
title = {On Correlation of Features Extracted by Deep Neural Networks},
author = {Babajide O. Ayinde and Tamer Inanc and Jacek M. Zurada},
journal= {arXiv preprint arXiv:1901.10900},
year = {2019}
}