师生设定下的持续学习：任务相似性的影响

持续学习——按顺序学习多个任务的能力——对人工学习系统至关重要。然而，深度网络的标准训练方法常遭受灾难性遗忘，即学习新任务会抹去对先前任务的知识。虽然灾难性遗忘标明了这一问题，但任务间干扰的理论原因仍不清楚。在此，我们试图通过研究师生设定下的持续学习来缩小理论与实践间的这一差距。我们将先前关于师生设定下两层网络的分析工作扩展到多个教师。以每个教师代表不同任务，我们研究教师间的关系如何影响学生在任务切换时表现出的遗忘与迁移量。与近期工作一致，我们发现当任务依赖于相似特征时，中等任务相似性导致最大遗忘。然而，特征相似性仅是任务可能相关的其中一种方式。师生方法使我们能够在读出（隐层到输出权重）和特征（输入到隐层权重）层面解耦任务相似性。我们发现两类相似性、初始迁移/遗忘率、最大迁移/遗忘以及长期迁移/遗忘之间存在复杂的相互作用。总之，这些结果有助于阐明导致灾难性遗忘的多种因素。