神经网络临界学习期的发生
机器学习
2025-10-14 v1 人工智能
摘要
本研究探讨了神经网络的可塑性，提供了关于通过调整学习超参数即可避免临界学习期和热启动性能损失的经验性支持。临界学习现象在使用不足数据进行训练时出现。随后，在大量不足 epoch 之后，网络的可塑性减弱，导致即使随后进行大量干净数据训练，也无法达到从头训练的模型在准确性上的水平。建立在引入临界学习期的奠基性研究基础上，我们复制了关键发现，并扩大了实验范围。此外，我们考虑了热启动方法，表明这可视为一种不足预训练。在 particular，我们证明，通过采用循环学习率计划，可避免这些问题。我们的发现不仅影响神经网络训练实践，也与关于热启动神经网络训练的持续研究建立了重要联系。
引用
@article{arxiv.2510.09687,
title = {On the Occurence of Critical Learning Periods in Neural Networks},
author = {Stanisław Pawlak},
journal= {arXiv preprint arXiv:2510.09687},
year = {2025}
}
备注
8 pages, 8 figures