生命周期原理：通过状态记忆稳定动态神经网络

我研究了一种更强的正则化形式，通过延长时间来停用神经元，这与 Dropout 等方法的暂时性变化不同。然而，这种长期动态性引入了一个关键挑战：当神经元以随机权重恢复时会出现严重的训练不稳定性。为解决此问题，我提出了生命周期（LC）原理，这是一种以一种关键创新为中心的正则化机制：状态记忆。而不是对恢复的神经元重新初始化，我的方法将其参数恢复到其最后已知有效状态。该过程保留了已学习的知识，避免了破坏性的优化冲击。我的理论分析表明，LC 原理平滑了损�函数的损失景观，引导优化 towards更平坦的最小值，这与更好的泛化能力相关。在图像分类基准测试上的实验表明，该方法改进了泛化能力和鲁棒性。至关重要的是，消融研究确认，状态记忆对于实现这些收益至关重要。