解开神经网络可塑性丧失的原因
机器学习
2024-03-01 v1
摘要
过去几十年关于神经网络设计、初始化和优化的研究都基于一个看似无害的假设：网络是在\textit{平稳}数据分布上训练的。当这一假设被违反时（例如深度强化学习），学习算法会变得不稳定且对超参数甚至随机种子敏感。导致这种不稳定的一个因素是可塑性丧失，即随着训练进行，网络根据新信息更新预测变得更加困难。尽管近期许多工作对此现象进行了分析并提出了部分解决方案，但一个基本问题仍未解答：已知的可塑性丧失机制在多大程度上重叠？如何组合缓解策略以最好地维持网络的可训练性？本文回答了这些问题，表明可塑性丧失可以分解为多个独立机制，并且虽然单独干预任何单一机制都不足以在所有情况下避免可塑性丧失，但联合干预多个机制可以产生高度鲁棒的学习算法。我们证明，层归一化和权重衰减的组合在多种合成非平稳学习任务中能有效维持可塑性，并进一步展示了其在自然出现的非平稳性（包括Arcade学习环境中的强化学习）中的有效性。
引用
@article{arxiv.2402.18762,
title = {Disentangling the Causes of Plasticity Loss in Neural Networks},
author = {Clare Lyle and Zeyu Zheng and Khimya Khetarpal and Hado van Hasselt and Razvan Pascanu and James Martens and Will Dabney},
journal= {arXiv preprint arXiv:2402.18762},
year = {2024}
}