关于减轻在线持续学习中表征突变的新见解

在在线持续学习范式中，智能体必须从不断变化的数据分布中学习，同时受限于内存与计算约束。经验回放（Experience Replay, ER）通过存储一小部分过去数据并与新数据一同重放，已成为一种简单而有效的学习策略。本工作中，我们关注当先前未观测到的类别出现在 incoming 数据流中、且必须将新类别与先前类别区分时，所观测数据表征发生的变化。我们通过表明应用 ER 会导致新加入类别的表征与先前类别显著重叠，从而引发高度破坏性的参数更新，从而对这一问题的研究提供新的认识。基于该实证分析，我们提出一种新方法，通过保护已学表征免受为容纳新类别而进行的剧烈适应来缓解此问题。我们展示了使用非对称更新规则推动新类别去适应较旧类别（而非相反），这在任务边界处尤为有效，因为遗忘通常大多发生在那里。实证结果显示在标准持续学习基准上相较强基线取得显著增益。