渐进式隐空间回放以实现高效生成式排练
计算机视觉与模式识别
2022-07-07 v2 机器学习
摘要
我们引入一种基于网络深度调节排练频率的内部回放新方法。尽管回放策略可缓解神经网络中的灾难性遗忘，近期关于生成式回放的研究表明，仅在网络深层执行排练可提升持续学习性能。然而，生成式方法引入了额外计算开销，限制了其应用。受神经网络浅层遗忘较不突发的观察启发，我们提出在回放期间利用中间层特征以不同频率更新网络层。这通过省略生成器深层与主模型浅层的计算来降低计算负担。我们将该方法命名为渐进式隐空间回放（Progressive Latent Replay），并表明其在使用显著更少资源的同时优于内部回放（Internal Replay）。
引用
@article{arxiv.2207.01562,
title = {Progressive Latent Replay for efficient Generative Rehearsal},
author = {Stanisław Pawlak and Filip Szatkowski and Michał Bortkiewicz and Jan Dubiński and Tomasz Trzciński},
journal= {arXiv preprint arXiv:2207.01562},
year = {2022}
}