在线持续学习中缓解表征突变的新见解
机器学习
2022-05-03 v3
摘要
在在线持续学习范式中，智能体必须在记忆与计算约束下从不断变化的数据分布中学习。经验回放（ER）通过存储一小部分过去数据并与新数据一同重放，已成为一种简单而有效的学习策略。本文中，我们关注当未观测过的类出现在 incoming 数据流中且新类须与先前类区分时，所观测数据表征发生的变化。我们通过表明应用ER会导致新加入类的表征与先前类显著重叠，从而引发高度破坏性的参数更新，对这一问题的认识提供了新的视角。基于该实证分析，我们提出一种新方法，通过使已学表征免于为容纳新类而剧烈适应来缓解此问题。我们展示了使用非对称更新规则推动新类适应旧类（而非相反），更为有效，尤其在任务边界处——遗忘多发生于此。实证结果显示在标准持续学习基准上相较强基线有显著提升。
引用
@article{arxiv.2104.05025,
title = {New Insights on Reducing Abrupt Representation Change in Online Continual Learning},
author = {Lucas Caccia and Rahaf Aljundi and Nader Asadi and Tinne Tuytelaars and Joelle Pineau and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2104.05025},
year = {2022}
}
备注
Accepted at ICLR 2022. Code available at www.github.com/pclucas14/AML