深层神经网络中固定点迭代的理解推进：详尽的分析研究
机器学习
2024-10-16 v1 人工智能
数值分析
数值分析
摘要
最近的经验研究在深层神经网络中识别到固定点迭代现象，即隐藏状态在经过若干层后趋于稳定，后续层中变化最小。此观察催生了诸多实用方法，例如通过跳过隐藏状态稳定后某些层的推理、选择性微调层以修改迭代过程、以及实施特定层的循环以维持固定点迭代。尽管已有进展，但关于固定点迭代的理解仍较浅显，尤其是在高维空间中，由于当前分析工具不足。本文对由神经网络建模的向量值函数中的固定点迭代进行了详细分析。我们基于不同输入区域建立了循环神经网络多个固定点的充分条件。此外，我们还扩大了对稳健型固定点迭代的考察。为演示我们方法的有效性与洞察， 我们提供案例研究表明，循环神经网络在指数或多项式激活函数下可能存在 个稳健固定点，其中 为特征维数。此外，我们的初步经验结果支持我们的理论发现。我们的方法丰富了分析深层神经网络固定点迭代的工具包，可能增强我们对神经网络机制的理解。
引用
@article{arxiv.2410.11279,
title = {Advancing the Understanding of Fixed Point Iterations in Deep Neural Networks: A Detailed Analytical Study},
author = {Yekun Ke and Xiaoyu Li and Yingyu Liang and Zhenmei Shi and Zhao Song},
journal= {arXiv preprint arXiv:2410.11279},
year = {2024}
}