激活瓶颈：Sigmoid 神经网络无法预测直线
机器学习
2024-06-05 v1
摘要
如果神经网络的一个隐藏层具有有界像，则该网络存在激活瓶颈。我们证明，具有激活瓶颈的网络无法预测无界序列，例如直线、随机游走或任何具有趋势的序列：预测与真实值之间的差异会变得任意大，无论训练过程如何。广泛使用的神经网络架构，如 LSTM 和 GRU，都受此限制。在我们的分析中，我们刻画了激活瓶颈，并解释了为什么它们会阻止 Sigmoid 网络学习无界序列。我们通过实验验证了我们的发现，并讨论了能够减轻激活瓶颈影响的网络架构修改。
引用
@article{arxiv.2406.02146,
title = {Activation Bottleneck: Sigmoidal Neural Networks Cannot Forecast a Straight Line},
author = {Maximilian Toller and Hussain Hussain and Bernhard C Geiger},
journal= {arXiv preprint arXiv:2406.02146},
year = {2024}
}