揭示脉络:持续学习中泛化与遗忘的交互作用
计算机视觉与模式识别
2025-03-25 v7
摘要
在人工智能中,泛化指的是模型在给定任务相关的分布外数据上表现良好的能力,超越其训练所用数据。要使AI智能体表现出色,它还必须具备持续学习能力,即智能体增量式地学习执行一系列任务,而不遗忘先前获得的用于解决旧任务的知识。直观上,任务内的泛化使模型学习到可轻易应用于新任务的潜在特征,从而在持续学习框架中促进后续任务的更快学习和性能提升。反之,持续学习方法通常包含缓解灾难性遗忘的机制,确保保留来自早期任务的知识。这种跨任务的知识保留有助于增强当前进行中任务的泛化。尽管这两种能力的相互作用在直观上颇具吸引力,现有关于持续学习和泛化的文献却是分开推进的。在促进连接两个领域研究的初步努力中,我们首先给出经验证据,表明这两个领域对彼此具有相互的积极影响。接着,基于该发现,我们引入一种简单而有效的技术,称为形状-纹理一致性正则化(Shape-Texture Consistency Regularization, STCR),它服务于持续学习。STCR为每个任务学习形状和纹理表征,从而增强泛化并进而缓解遗忘。值得注意的是,大量实验验证我们的STCR可无缝集成到现有持续学习方法中,包括无重放方法。其性能大幅超越这些孤立使用的持续学习方法或与已有泛化技术结合的方法。
关键词
引用
@article{arxiv.2211.11174,
title = {Unveiling the Tapestry: the Interplay of Generalization and Forgetting in Continual Learning},
author = {Zenglin Shi and Jing Jie and Ying Sun and Joo Hwee Lim and Mengmi Zhang},
journal= {arXiv preprint arXiv:2211.11174},
year = {2025}
}