通过再生正则化在持续学习中保持可塑性
机器学习
2024-10-28 v3 人工智能
摘要
在持续学习中，可塑性指智能体快速适应新信息的能力。已知神经网络在处理非平稳数据流时会丧失可塑性。本文提出L2 Init，一种通过将损失函数中对初始参数的L2正则化来保持可塑性的简单方法。这与标准L2正则化（L2）非常相似，唯一区别在于L2是向原点正则化。L2 Init实现简单，仅需选择一个超参数。该方法的动机与重置神经元或参数值的方法相同。直观上，当近期损失对某些参数不敏感时，这些参数应漂向其初始值。这为参数快速适应新任务做好准备。在代表持续监督学习中不同类型非平稳性的问题上的实验表明，与先前提出的方法相比，L2 Init最能一致地缓解可塑性丧失。
引用
@article{arxiv.2308.11958,
title = {Maintaining Plasticity in Continual Learning via Regenerative Regularization},
author = {Saurabh Kumar and Henrik Marklund and Benjamin Van Roy},
journal= {arXiv preprint arXiv:2308.11958},
year = {2024}
}