SHELS:用于无类别边界的新颖性检测与持续学习的排他特征集
机器学习
2022-06-29 v1 人工智能
摘要
虽然深度神经网络(DNNs)在封闭世界学习场景中取得了令人印象深刻的分类性能,但它们通常无法推广到动态开放世界环境中未见的类别,其中概念的数量是无限的。相比之下,人类和动物学习者具有通过识别并适应新观测来增量更新知识的能力。特别地,人类通过排他(独特)的基本特征集来刻画概念,这些特征集既用于识别已知类别也用于辨识新颖性。受自然学习者启发,我们引入了一种稀疏高层排他、低层共享的特征表示(SHELS),它同时促进学习排他的一组高层特征和基本的共享低层特征。高层特征的排他性使DNN能够自动检测分布外(OOD)数据,而通过稀疏低层特征对容量的高效利用允许容纳新知识。所得方法利用OOD检测来执行无已知类别边界的类增量持续学习。我们表明,在多种基准数据集上,使用SHELS进行新颖性检测比最先进的OOD检测方法取得了统计显著的改进。此外,我们证明SHELS模型在类增量学习设置中缓解了灾难性遗忘,实现了结合新颖性检测与容纳的框架,支持开放世界环境中的学习。
引用
@article{arxiv.2206.13720,
title = {SHELS: Exclusive Feature Sets for Novelty Detection and Continual Learning Without Class Boundaries},
author = {Meghna Gummadi and David Kent and Jorge A. Mendez and Eric Eaton},
journal= {arXiv preprint arXiv:2206.13720},
year = {2022}
}