基于回溯特征合成的高效非示例类增量学习
材料科学
2025-02-28 v1
摘要
尽管在许多单独任务中表现出色，深度神经网络在真实场景中从连续数据流学习时仍遭受灾难性遗忘。当前非示例类增量学习（NECIL）方法通过每类存储单个原型来缓解遗忘，该原型在顺序学习新类时用于注入先前信息。然而，这些存储的原型或其增强变体往往无法同时捕捉表示旧类所需的空间分布多样性和精度。此外，随着模型获取新知识，这些原型逐渐过时，使其效果减弱。为克服这些局限性，我们提出了一种更高效的 NECIL 方法，以合成的回溯特征替代旧类的原型。具体而言，我们使用多元高斯分布建模每个旧类的特征空间，并通过从高似然区域采样来生成深度表示。此外，我们引入了一种基于相似度的特征补偿机制，将生成的旧类特征与相似的新类特征进行整合，以合成鲁棒的回溯表示。这些回溯特征随后被纳入我们的增量学习框架中，在学习新类的同时保留先前类的决策边界。在 CIFAR-100、TinyImageNet 和 ImageNet-Subset 上的大量实验表明，我们的方法显著提升了非示例类增量学习的效率，并达到了最先进的性能。
引用
@article{arxiv.2411.01464,
title = {Intrinsic breakdown strength: theoretical derivation and first-principles calculations},
author = {Shixu Liu and Hongjun Xiang and Xin-Gao Gong and Ji-Hui Yang},
journal= {arXiv preprint arXiv:2411.01464},
year = {2025}
}