我们能通过神经崩塌来理解塑性吗？
机器学习
2024-04-04 v1 人工智能
摘要
本文探讨了两个近期在深度学习中识别出来的现象之间的关联：塑性损失和神经崩塌。我们分析了它们在不同情景下的相关性，揭示了在第一个任务的初始训练阶段内存在显著关联。此外，我们引入了一种正则化方法来缓解神经崩塌，证明其在缓解此特定情景下的塑性损失方面具有有效性。
引用
@article{arxiv.2404.02719,
title = {Can We Understand Plasticity Through Neural Collapse?},
author = {Guglielmo Bonifazi and Iason Chalas and Gian Hess and Jakub Łucki},
journal= {arXiv preprint arXiv:2404.02719},
year = {2024}
}