回望过去：持续学习中生成回放的知识保持改进
机器学习
2023-09-20 v1 人工智能
计算机视觉与模式识别
摘要
本工作中，我们改进持续学习设置下的生成回放，以在具挑战性场景中表现良好。当前的生成复述方法通常在小型简单数据集上评测，因其不足以生成类别数更多更复杂的资料。我们注意到，在基于 VAE 的生成回放中，这可归因于生成特征映射到潜空间时远离原始特征。因此，我们提出三项改进使模型能学习与生成复杂数据。具体而言，我们在当前与先前模型间引入潜空间蒸馏以减少特征漂移。此外，提出重构数据与原始数据的潜空间匹配以改善生成特征对齐。进一步，基于重构更利于保持知识的观察，我们加入通过先前训练模型的生成循环使其更接近原始数据。我们的方法在各场景中优于其他生成回放方法。代码见 https://github.com/valeriya-khan/looking-through-the-past。
引用
@article{arxiv.2309.10012,
title = {Looking through the past: better knowledge retention for generative replay in continual learning},
author = {Valeriya Khan and Sebastian Cygert and Kamil Deja and Tomasz Trzciński and Bartłomiej Twardowski},
journal= {arXiv preprint arXiv:2309.10012},
year = {2023}
}