基于聚类的域增量学习
机器学习
2023-09-22 v1
摘要
我们考虑在持续学习设定下学习多个任务的问题，其中不同任务的数据以流式方式呈现给学习器。该设定中的一个关键挑战是所谓的“灾难性遗忘问题”，即学习器在“旧任务”上的性能在随后训练“新任务”时会下降。现有的持续学习方法，如平均梯度情景记忆（A-GEM）和正交梯度下降（OGD），通过最小化当前任务的损失而不增加先前任务的损失来解决灾难性遗忘。然而，这些方法假设学习器知道任务何时发生变化，这在实际中是不现实的。在本文中，我们通过对动态更新的有限样本或梯度池采用在线基于聚类的方法，缓解了向算法提供任务变化信息的需求。从而我们成功地在最困难的设定之一——域增量学习（此前该问题尚未解决）中抵消了灾难性遗忘。我们通过将这些思想应用于基于投影的方法（如 A-GEM 和 OGD）来展示我们方法的优势，从而得到它们的任务不可知版本。在真实数据集上的实验证明了所提策略的有效性及其与最先进方法相比的良好性能。
引用
@article{arxiv.2309.12078,
title = {Clustering-based Domain-Incremental Learning},
author = {Christiaan Lamers and Rene Vidal and Nabil Belbachir and Niki van Stein and Thomas Baeck and Paris Giampouras},
journal= {arXiv preprint arXiv:2309.12078},
year = {2023}
}