ZS-IL：回顾已学经验以实现零样本增量学习
计算机视觉与模式识别
2021-03-31 v1
摘要
经典深度神经网络从不断涌现的训练数据流中学习的能力有限。当顺序训练于新的或演化的任务时，其性能急剧下降，使其在真实世界用例中不适用。现有方法通过存储旧数据样本或仅更新 DNN 的参数集来解决该问题，但这需要较大的内存开销或破坏了模型学习新增类别分布的灵活性。在本文中，我们提出一种按需调用迁移集的方法，以在数据流中出现新类别时提供过往经验。具体而言，我们提出一种零样本增量学习（Zero-Shot Incremental Learning, ZS-IL），不仅重放模型已学习的过往经验，而且以零样本方式执行此操作。为此，我们引入了一种记忆恢复范式，每当新任务（类别）出现时，我们查询网络以合成过往样本。因此，我们的方法不需要固定大小的内存，此外调用所提出的记忆恢复范式来提供过往样本（称为迁移集），以减轻对先前类别的灾难性遗忘。此外，与近期提出的方法相比，所建议的范式不需要并行架构，因为它仅依赖于学习器网络。与不使用缓冲过往数据样本的最先进数据技术相比，ZS-IL 在 Task-IL 和 Class-IL 设置下于知名数据集（CIFAR-10、Tiny-ImageNet）上均展现出显著更优的性能。
引用
@article{arxiv.2103.12216,
title = {ZS-IL: Looking Back on Learned Experiences For Zero-Shot Incremental Learning},
author = {Mozhgan PourKeshavarz and Mohammad Sabokrou},
journal= {arXiv preprint arXiv:2103.12216},
year = {2021}
}