灾难性遗忘的马斯洛之锤：节点复用与节点激活
机器学习
2022-08-01 v1 机器学习
摘要
持续学习——顺序学习新任务同时保持旧任务性能——对人工神经网络而言尤其具有挑战性。令人惊讶的是，遗忘量并不随所学任务间差异度的增加而增大，而是在中等相似度区间表现最严重。本文中，我们从理论上分析了合成教师-学生框架与真实数据设置，以对我们所称的马斯洛之锤假说这一现象提供解释。我们的分析揭示了节点激活与节点复用之间存在权衡，导致中等相似度区间遗忘最严重。利用该理解，我们据此权衡重新解读针对灾难性干扰的流行算法干预，并识别其最有效的区间。
引用
@article{arxiv.2205.09029,
title = {Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation},
author = {Sebastian Lee and Stefano Sarao Mannelli and Claudia Clopath and Sebastian Goldt and Andrew Saxe},
journal= {arXiv preprint arXiv:2205.09029},
year = {2022}
}