面向多标签在线持续学习的内存类分布优化
机器学习
2022-09-26 v1
摘要
在线持续学习，尤其在任务身份与任务边界不可得时，是一种具挑战性的持续学习设定。在线持续学习的一类代表性方法是基于回放的方法，其中维护一个称为内存的回放缓冲以保留一小部分过去样本来克服灾难性遗忘。在处理在线持续学习时，大多数现有基于回放的方法关注单标签问题，即数据流中每个样本仅有一个标签。但多标签问题也可能出现在在线持续学习设定中，其中每个样本可能具有多于一个标签。在具有多标签样本的在线设定中，数据流中的类分布通常高度不平衡，并且由于改变属于某一类的样本数可能影响属于其他类的样本数，控制内存中的类分布颇具挑战。但内存中的类分布对于基于回放的内存取得良好性能至关重要，尤其当数据流中类分布高度不平衡时。本文中，我们提出一种简单而有效的方法，称为内存类分布优化（OCDM），用于多标签在线持续学习。OCDM将内存更新机制表述为一个优化问题，并通过求解该问题来更新内存。在两个广泛使用的多标签数据集上的实验表明，OCDM能良好控制内存中的类分布，并可优于其他最先进（SOTA）方法。
引用
@article{arxiv.2209.11469,
title = {Optimizing Class Distribution in Memory for Multi-Label Online Continual Learning},
author = {Yan-Shuo Liang and Wu-Jun Li},
journal= {arXiv preprint arXiv:2209.11469},
year = {2022}
}