解决持续学习中的可塑性丧失与灾难性遗忘

深度表征学习方法在持续学习中面临困难，既存在对有用单元的灾难性遗忘，又存在可塑性丧失，这通常是由于僵化且无用的单元造成的。虽然许多方法分别解决这两个问题，但目前只有少数方法能同时处理两者。在本文中，我们引入了基于效用的扰动梯度下降 作为一种表征持续学习的新方法。UPGD 将梯度更新与扰动相结合，对更有用的单元应用较小的修改以保护它们免受遗忘，对较无用的单元应用较大的修改以恢复其可塑性。我们使用了一个具有挑战性的流式学习设置，其中持续学习问题具有数百个非平稳性和未知的任务边界。我们表明，许多现有方法至少受到其中一个问题的影响，主要表现为它们在任务上的准确率下降。另一方面，UPGD 继续提高性能，在所有问题中超越或与所有方法具有竞争力。最后，在使用 PPO 的扩展强化学习实验中，我们表明虽然 Adam 在初始学习后表现出性能下降，但 UPGD 通过同时解决这两个持续学习问题避免了这种情况。