通过寻找平坦最小值克服增量小样本学习中的灾难性遗忘
机器学习
2021-11-05 v2 计算机视觉与模式识别
摘要
本文考虑了增量小样本学习，它要求模型仅凭少量提供的示例就能持续识别新类别。我们的研究表明，现有方法严重遭受灾难性遗忘，这是增量学习中一个众所周知的问题，并且由于小样本设置中的数据稀缺和不平衡而加剧。我们的分析进一步表明，为了防止灾难性遗忘，需要在初始阶段——即基类的训练阶段，而非后续的小样本学习会话——采取行动。因此，我们提出搜索基训练目标函数的平坦局部最小值，然后在平坦区域内对新任务微调模型参数。通过这种方式，模型可以高效地学习新类，同时保留旧类。全面的实验结果表明，我们的方法优于所有先前的最先进方法，并且非常接近近似的理论上限。源代码可在 https://github.com/moukamisama/F2M 获取。
引用
@article{arxiv.2111.01549,
title = {Overcoming Catastrophic Forgetting in Incremental Few-Shot Learning by Finding Flat Minima},
author = {Guangyuan Shi and Jiaxin Chen and Wenlong Zhang and Li-Ming Zhan and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2111.01549},
year = {2021}
}