通过协同记忆重演逃离在线运动预测持续学习中的稳定性-可塑性困境
机器学习
2025-08-28 v1
摘要
深度神经网络(DNN)在运动预测中取得了显著成功。然而，大多数基于DNN的方法在适应新数据后无法保持在先前学习场景中的性能，遭受灾难性遗忘。近期持续学习(CL)研究旨在通过增强DNN的记忆稳定性来缓解这一现象，即保留已学知识的能力。然而，对记忆稳定性的过度强调往往会损害学习可塑性，即DNN有效获取新信息的能力。为解决这种稳定性-可塑性困境，本研究提出了一种新的CL方法——协同记忆重演(SyReM)，用于基于DNN的运动预测。SyReM维护一个紧凑的记忆缓冲区来表示已学知识。为确保记忆稳定性，它采用一个不等式约束来限制记忆缓冲区上的平均损失增量。协同地，设计了一种选择性记忆重演机制，通过从记忆缓冲区中选择与最近观测数据最相似的样本来增强学习可塑性。该选择基于在线测量的损失梯度的余弦相似度，确保目标记忆重演。由于重演样本来自已学习场景，这种记忆重演机制不会损害记忆稳定性。我们在在线CL范式下验证SyReM，其中来自不同场景的训练样本以单次流的形式到达。在INTERACTION的11个自然驾驶数据集上的实验表明，与非CL和CL基线相比，SyReM显著减轻了过去场景中的灾难性遗忘，同时提高了新场景中的预测精度。代码在 https://github.com/BIT-Jack/SyReM 公开发布。
引用
@article{arxiv.2508.19571,
title = {Escaping Stability-Plasticity Dilemma in Online Continual Learning for Motion Forecasting via Synergetic Memory Rehearsal},
author = {Yunlong Lin and Chao Lu and Tongshuai Wu and Xiaocong Zhao and Guodong Du and Yanwei Sun and Zirui Li and Jianwei Gong},
journal= {arXiv preprint arXiv:2508.19571},
year = {2025}
}
备注
Official code: https://github.com/BIT-Jack/SyReM