iTAML：一种增量任务无关元学习方法
机器学习
2020-03-27 v1 计算机视觉与模式识别
机器学习
摘要
人类能够随着经验增长持续学习新知识。相比之下，深度神经网络在先前的学习任务上所学内容在训练新任务时会迅速遗忘。在本文中，我们假设该问题可通过学习一组既非特定于旧任务也非特定于新任务的广义参数来避免。为此，我们引入了一种新颖的元学习方法，旨在维持所有已遇任务之间的平衡。这由一种避免灾难性遗忘的新元更新规则所保证。与以往的元学习技术相比，我们的方法是任务无关的。当面对连续的数据流时，我们的模型自动识别任务，并仅通过一次更新快速适应。我们在类增量设置下对五个数据集进行了大量实验，相较最先进方法取得了显著改进（例如，在具有 10 个增量任务的 CIFAR100 上提升 21.3%）。具体而言，在通常作为增量学习困难案例的大规模数据集上，我们的方法在 ImageNet 和 MS-Celeb 数据集上分别实现了高达 19.1% 和 7.4% 的绝对增益。
引用
@article{arxiv.2003.11652,
title = {iTAML: An Incremental Task-Agnostic Meta-learning Approach},
author = {Jathushan Rajasegaran and Salman Khan and Munawar Hayat and Fahad Shahbaz Khan and Mubarak Shah},
journal= {arXiv preprint arXiv:2003.11652},
year = {2020}
}
备注
Accepted to CVPR 2020