TAME：基于多专家的任务无关持续学习

终身学习的目的是从非平稳分布中持续学习，其中非平稳性通常由一系列不同的任务所施加。先前的工作大多考虑理想化设定，即至少在训练时已知任务身份。本文关注一种根本更困难、所谓的任务无关设定，其中任务身份未知，学习机器需要从观测中推断它们。我们的算法称为 TAME（使用多专家的任务无关持续学习，Task-Agnostic continual learning using Multiple Experts），可自动检测数据分布的偏移并以在线方式在任务专家网络间切换。在训练时，任务间切换策略基于一个极简单的观察：对于每个新到来的任务，损失函数的值会出现统计显著的偏离，标志着该新任务的开始。在推断时，专家间的切换由选择器网络控制，该网络将测试样本转发给其相关专家网络。选择器网络在均匀随机抽取的一小子集数据上训练。我们通过采用在线剪枝来控制任务专家网络及选择器网络的增长。我们的实验结果表明了我们的方法在基准持续学习数据集上的有效性，优于先前的任务无关方法乃至那些在训练和测试时均已知任务身份的技术，同时使用相当的模型规模。