动态梯度投影记忆的平坦化锐度有益于持续学习
机器学习
2021-10-12 v1
摘要
反向传播网络显著易受灾难性遗忘的影响，即网络在学习新技能时倾向于遗忘先前习得的技能。为应对此种“敏感性-稳定性”困境，以往多数工作致力于以不同参数正则化项与情景记忆来最小化经验风险，却极少探索权重损失景观的用途。本文中，我们研究了持续学习场景下权重损失景观与敏感性-稳定性之间的关系，并基于此提出一种新方法：动态梯度投影记忆的平坦化锐度（FS-DGPM）。具体而言，我们引入软权重来表示 GPM 中表征过往任务各基的重要性，其可在学习过程中自适应学习，从而动态释放较不重要的基以提升新技能学习的敏感性。我们进一步引入平坦化锐度（FS），通过显式调节所有已见任务权重损失景观的平坦度来减小泛化差距。如实验所证，我们提出的方法持续优于基线，具备学习新技能的优越能力同时有效缓解遗忘。
引用
@article{arxiv.2110.04593,
title = {Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning},
author = {Danruo Deng and Guangyong Chen and Jianye Hao and Qiong Wang and Pheng-Ann Heng},
journal= {arXiv preprint arXiv:2110.04593},
year = {2021}
}
备注
NeurIPS2021