无任务预言机的终身学习
机器学习
2020-11-11 v1 人工智能
摘要
监督式深度神经网络在学习任务时已知会对旧任务的准确率发生急剧下降，称为“灾难性遗忘”。许多最先进的持续学习解决方案依赖于偏置和/或划分模型，以增量方式容纳连续任务。然而，这些方法在很大程度上依赖于任务预言机的可用性，以向每个测试样本赋予任务身份，若无之则模型完全无法运行。为弥补这一缺陷，我们提出并比较了几种仅需极少内存开销的候选任务分配映射器：（1）使用最近均值、高斯混合模型或模糊 ART 骨干的增量无监督原型分配；（2）使用快速模糊 ARTMAP 的监督式增量原型分配；（3）通过动态核心集训练的浅层感知机。我们提出的模型变体或由预训练特征提取器训练，或由主分类器网络的任务相关特征嵌入训练。我们将这些流水线变体应用于持续学习基准，这些基准由多个数据集的序列或单个数据集内构成。总体而言，这些方法尽管简单紧凑，其表现非常接近真实预言机，尤其在跨数据集任务分配的实验中。此外，表现最佳的变体仅带来平均 1.7% 参数内存增加的开销。
引用
@article{arxiv.2011.04783,
title = {Lifelong Learning Without a Task Oracle},
author = {Amanda Rios and Laurent Itti},
journal= {arXiv preprint arXiv:2011.04783},
year = {2020}
}
备注
Proceedings of the IEEE 32nd International Conference on Tools with Artificial Intelligence (ICTAI 2020)