用于持续学习的绝热重放

传统的基于重放的持续学习（CL）方法要求，对于每个带有新数据的学习阶段，重放代表所有已学知识的样本以避免灾难性遗忘。由于在 CL 问题中已学知识量随时间增长，生成式重放将越来越多的时间仅用于重新学习已知内容。在这项概念验证研究中，我们提出了一种基于重放的 CL 策略，称之为绝热重放（AR），其效率来源于（合理的）假设：每个新学习阶段是绝热的，即仅代表对现有知识的一小部分补充。每个新学习阶段触发一个采样过程，从现有知识体中选择性地重放与新数据相似的样本，而非重放全部。完整重放并非必需，因为 AR 通过高斯混合模型（GMM）表示数据分布，这些模型能够仅在其数据统计量发生变化处选择性更新其内部表示。只要补充是绝热的，待重放样本的数量根本无需依赖于先前获得的知识量。我们通过实验验证 AR 优于使用 VAE 的最先进深度生成式重放。