Eidetic Learning：解决灾难性遗忘的高效可证方法

灾难性遗忘——神经网络学习任务t1后，在学习任务t2后丢失先前能力——是长期存在的问题。我们提出Eidetic Learning方法，证明其可解此问题。采用Eidetic Learning训练的网络（即EideticNet）无需再现或回放。在离散任务序列下，EideticNet在推理时自动路由新样本，无需额外任务信息。EideticNet类似于Shazeer等人稀疏门控Mixture-of-Experts结构，网络容量跨任务分配，网络自身完成数据条件路由。EideticNet易于实现与训练，高效，时间复杂度与空间复杂度为参数个数的线性关系。本方法在现代神经网络的归一化层中，对预训练与微调均有效。我们通过多种网络结构与任务集验证，EideticNet对遗忘完全免疫。尽管EideticNet带来显著实际收益，但我们相信其对实践者与理论家都有帮助。EideticNet训练代码已公开于https://github.com/amazon-science/eideticnet-training。