神经网络的平均维数——交互效应由何引起？
机器学习
2022-07-12 v1 机器学习
摘要
Owen与Hoyt近期表明，有效维数提供了关于人工神经网络底层输入输出映射的关键结构信息。沿着这一研究路线，本工作提出一种估计过程，允许从给定数据集计算平均维数，而无需从外部分布重采样。该设计在特征独立时给出总指数，在特征相关时给出总指数的一种变体。我们表明该变体具有零独立性性质。利用合成数据集，我们分析了平均维数逐层演变的方式以及激活函数如何影响交互的大小。随后我们使用平均维数研究一些最广泛使用的用于图像识别的卷积架构（LeNet、ResNet、DenseNet）。为考虑像素相关性，我们提出在加入逆PCA层后计算平均维数，该层允许在不重新训练神经网络的情况下处理不相关的PCA变换特征。我们利用广义总指数生成用于事后解释的热图，并在PCA变换特征上使用平均维数对人工神经网络结构进行交叉比较。结果提供了关于不同架构间交互大小差异的若干见解，以及关于平均维数在训练过程中如何演变的提示。
引用
@article{arxiv.2207.04890,
title = {The Mean Dimension of Neural Networks -- What causes the interaction effects?},
author = {Roman Hahn and Christoph Feinauer and Emanuele Borgonovo},
journal= {arXiv preprint arXiv:2207.04890},
year = {2022}
}