通过增量概念形成解释对灾难性遗忘的鲁棒性
机器学习
2025-10-29 v1 人工智能
摘要
灾难性遗忘仍是持续学习中的核心挑战，在该领域中，模型需要在时间推进中整合新知识而不丢失先前学习的知识。我们先前工作中引入的 Cobweb/4V，一种层次化概念形成模型，在视觉领域表现出对灾难性遗忘的鲁棒性。受此鲁棒性启发，我们检验三大假设有助于实现此类稳定性的因素：(1) 自适应结构重组增强了知识保留；(2) 稀疏和选择性更新减少干扰；(3) 基于信息论的学习基于充分统计量提供优于基于梯度的反向传播的优势。为测试这些假设，我们将 Cobweb/4V 与神经网络基线进行比较，包括本工作中引入的 CobwebNN，这是一个神经实现的 Cobweb 框架。在复杂度不同的数据集（MNIST、Fashion-MNIST、MedMNIST 和 CIFAR-10）上的实验表明，自适应重组增强了学习塑性，稀疏更新有助于减轻干扰，信息论学习过程在不回顾过去数据的情况下保持先前知识。这些发现共同为缓解灾难性遗忘提供了见解，并凸显了基于概念的信息论方法在构建稳定且自适应持续学习系统方面的潜力。
引用
@article{arxiv.2510.23756,
title = {Explaining Robustness to Catastrophic Forgetting Through Incremental Concept Formation},
author = {Nicki Barari and Edward Kim and Christopher MacLellan},
journal= {arXiv preprint arXiv:2510.23756},
year = {2025}
}
备注
18 pages, 5 figures, Advances in Cognitive Systems 2025