基于师生网络持续学习中灾难性遗忘的统计力学分析
机器学习
2021-09-15 v1 机器学习
摘要
当计算系统持续从不断变化的环境学习时，它会迅速遗忘过去的经验。这一现象称为灾难性遗忘。尽管已有一些避免灾难性遗忘的研究，但多数方法基于对该现象的直观认识，其性能通过基准数据集的数值实验评估。因此，本研究利用师生学习提供分析灾难性遗忘的理论框架。师生学习是一种引入两个神经网络的框架：一个作为监督学习中的目标函数，另一个为学习用神经网络。为分析师生框架中的持续学习，我们引入输入分布的相似度以及目标函数输入输出关系的相似度作为任务相似度。在此理论框架中，我们也定性理解了单层线性学习神经网络如何遗忘任务。基于分析，我们发现当输入分布间相似度小且目标函数输入输出关系相似度大时，网络可避免灾难性遗忘。分析还表明系统常表现出称为超调的特征现象，即即便学习网络曾经历灾难性遗忘，仍可能在进一步学习当前任务后表现相当良好。
引用
@article{arxiv.2105.07385,
title = {Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks},
author = {Haruka Asanuma and Shiro Takagi and Yoshihiro Nagano and Yuki Yoshida and Yasuhiko Igarashi and Masato Okada},
journal= {arXiv preprint arXiv:2105.07385},
year = {2021}
}
备注
22 pages, 4 figures