经验回放解决持续学习中塊asticity 的损失

塊asticity 的丢失是深度神经网络持续学习中主要挑战之一，通过反向传播训练的神经网络会逐渐丧失对新任务的适应能力，性能远不如 freshly 初始化的网络。本文的主要贡献是提出了一个假设：经验回放 (experience replay) 能解决持续学习中的塊asticity 丢失。经验回放是一种记忆形式。我们提供了对该假设的支持证据。特别是，我们在多个不同任务（包括回归、分类和政策评估）中表明，通过仅增加经验回放并使用 Transformer 处理回放数据，塊asticity 的丢失即消失。值得注意的是，我们未改变深度学习的任何标准组件，例如不改变反向传播、不修改激活函数、也不使用任何正则化。我们推测，经验回放与 Transformer 能解决塊asticity 丢失是由于 in-context learning 现象所致。