多视觉任务的序贯掌握：网络自然学会学习且遗忘去遗忘

我们探究标准卷积神经网络在持续学习设定下的行为，该设定顺序引入视觉分类任务，并要求网络在掌握新任务的同时保持对已学任务的掌握。此设定对应于人类学习者串行获取领域专长时所面临的情境，例如个人学习教材时。通过涉及十个相关视觉任务序列的仿真，我们发现网络从单一技能进阶为多技能领域专家时具备良好扩展性的乐观理由。我们观察到两个关键现象。第一，前向促进——在学完$n$个先前任务后加速学习任务$n+1$——随$n$增长。第二，后向干扰——学习任务$n+1$时遗忘$n$个先前任务——随$n$减弱。放大前向促进是元学习研究的目标，而减弱后向干扰是灾难性遗忘研究的目标。我们发现，这两个目标仅通过更广泛地接触一个领域即可达成。