分布外遗忘：持续学习对类内分布偏移的脆弱性
机器学习
2024-07-08 v2 人工智能
计算机视觉与模式识别
摘要
持续学习（CL）是一项重要技术，可使人工神经网络在开放环境中工作。CL 使系统能够学习新任务而不严重干扰其在旧任务上的性能，即克服灾难性遗忘问题。在联合学习中，众所周知，由有意攻击或环境扰动引起的分布外（OOD）问题会严重损害网络的泛化能力。在这项工作中，我们报告了持续学习设置中由 OOD 问题引发的一种特殊形式的灾难性遗忘，并将其命名为分布外遗忘（OODF）。在持续图像分类任务中，我们发现对于给定的类别，引入类内分布偏移会显著损害 CL 方法在后续学习中对该类别的识别准确率。有趣的是，这一现象是 CL 特有的，因为相同程度的分布偏移在联合学习场景中仅产生可忽略的影响。我们验证了不为各个任务分配专用子网络的 CL 方法都易受 OODF 影响。此外，OODF 不依赖于任何特定的分布偏移方式，表明其在广泛情况下对 CL 构成风险。综上，我们的工作指出了 CL 中一个未被充分关注的风险，凸显了开发能够克服 OODF 方法的重要性。代码见：\url{https://github.com/Hiroid/OODF}
引用
@article{arxiv.2306.00427,
title = {Out-of-distribution forgetting: vulnerability of continual learning to intra-class distribution shift},
author = {Liangxuan Guo and Yang Chen and Shan Yu},
journal= {arXiv preprint arXiv:2306.00427},
year = {2024}
}