分布层级记忆召回用于持续学习：保持知识并避免混淆
机器学习
2024-08-07 v1 人工智能
摘要
持续学习 (Continual Learning, CL) 旨在使深度神经网络 (DNN) 能够在不忘记先前学习知识的前提下学习新数据。实现这一目标的关键在于在特征层面避免混淆，即避免旧任务内部的混淆以及新旧任务之间的混淆。以往的基于原型的持续学习方法通过向旧类别质心添加高斯噪声来生成旧知识的伪特征。然而，在增量过程中，特征空间的分布呈各向异性，这会阻止伪特征在特征空间中忠实地复现旧知识的分布，导致旧任务分类边界内的混淆。为解决此问题，我们提出了分布层级记忆召回 (Distribution-Level Memory Recall, DMR) 方法，该方法使用高斯混合模型在分布层面精确拟合旧知识的特征分布，并生成下一阶段的伪特征。此外，针对多模态学习，分布层面的抗混淆性也至关重要，因为多模态不平衡问题会导致不同模态的特征响应存在显著差异，加剧原型方法中旧任务内部的混淆。因此，我们通过采用Inter-modal Guidance and Intra-modal Mining (IGIM) 方法来缓解多模态不平衡问题，通过引导弱模态利用强模态的先验信息，并进一步探索模态内部的有用信息。对于第二个关键问题，我们提出混淆指数 (Confusion Index) 来量化模型区分新旧任务能力，并通过增量混合特征增强 (Incremental Mixup Feature Enhancement, IMFE) 方法增强伪特征与新样本特征，以缓解新旧知识之间的分类混淆。
引用
@article{arxiv.2408.02695,
title = {Distribution-Level Memory Recall for Continual Learning: Preserving Knowledge and Avoiding Confusion},
author = {Shaoxu Cheng and Kanglei Geng and Chiyuan He and Zihuan Qiu and Linfeng Xu and Heqian Qiu and Lanxiao Wang and Qingbo Wu and Fanman Meng and Hongliang Li},
journal= {arXiv preprint arXiv:2408.02695},
year = {2024}
}