深度前馈神经网络中特征提取的局部几何解释
机器学习
2022-02-11 v2 信息论
math.IT
摘要
在本文中，我们提出了一种局部几何分析，以解释深度前馈神经网络如何从高维数据中提取低维特征。我们的研究表明，在一个局部几何区域内，神经网络某一层的最优权重与上一层生成的最优特征构成了一个矩阵的低秩近似，该矩阵由该层的贝叶斯动作决定。这一结果适用于 (i) 分析神经网络的输出层和隐藏层，以及 (ii) 具有非零梯度的神经元激活函数。我们使用两个监督学习问题来说明我们的结果：基于神经网络的最大似然分类（即 softmax 回归）和基于神经网络的最小均方估计。这些理论结果的实验验证将在我们未来的工作中进行。
引用
@article{arxiv.2202.04632,
title = {A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks},
author = {Md Kamran Chowdhury Shisher and Tasmeen Zaman Ornee and Yin Sun},
journal= {arXiv preprint arXiv:2202.04632},
year = {2022}
}