理解深度神经网络中聚合层的分布
机器学习
2021-07-12 v1 计算机视觉与模式识别
摘要
聚合过程几乎存在于所有深度网络模型中。它作为一种重要机制，将深度特征整合为更紧凑的表示，同时增强对过拟合的鲁棒性并赋予深度网络空间不变性。特别地，全局聚合层靠近 DNN 的输出层，这意味着聚合特征对深度网络的性能有直接影响。利用信息论方法可以更好地理解这一关系。然而，这需要了解聚合层激活值的分布。为此，我们提出了一种新颖的数学公式，用于解析建模涉及深度特征聚合的层输出值的概率分布。一个重要成果是我们能够解析预测 DNN 中输出节点的 KL 散度。我们还在一系列不同的分类任务和数据集上通过实验验证了我们的理论预测与经验观测的一致性。
引用
@article{arxiv.2107.04458,
title = {Understanding the Distributions of Aggregation Layers in Deep Neural Networks},
author = {Eng-Jon Ong and Sameed Husain and Miroslaw Bober},
journal= {arXiv preprint arXiv:2107.04458},
year = {2021}
}