理解灾难性遗忘：潜在表示的可识别性
机器学习
2025-10-08 v3
摘要
灾难性遗忘（亦称灾难性遗忘），是机器学习中的一个根本性挑战，训练好的学习模型在适应新任务时会逐渐丢失对先前学习任务的性能。在本文中，我们旨在从潜在表示学习的角度更好地理解和建模灾难性遗忘问题，提出一种新型理论框架将其形式化为一个识别问题。我们的分析表明，遗忘现象可由部分任务感知（PTA）和全任务感知（ATA）设置之间的距离来量化。基于最近在可识别性理论方面的进展，我们证明通过识别这两种设置之间的共享潜在变量，可最小化该距离。在学习过程中，我们提出了我们的方法 \ourmeos，采用两阶段训练策略：首先，我们采用最大似然估计从 PTA 和 ATA 配置中学习潜在表示；随后，我们优化 KL 散度来识别和学习共享潜在变量。通过理论保证和实证验证，我们确立了识别和学习这些共享表示可有效缓解机器学习系统中的灾难性遗忘。我们的ethods 提供了理论保证和实际性能提升，适用于合成数据集和基准数据集。
引用
@article{arxiv.2509.23027,
title = {Understanding Catastrophic Interference: On the Identifibility of Latent Representations},
author = {Yuke Li and Yujia Zheng and Tianyi Xiong and Zhenyi Wang and Heng Huang},
journal= {arXiv preprint arXiv:2509.23027},
year = {2025}
}