实现联合训练在持续学习中的上界精度

持续学习是机器学习中的一个活跃研究领域，旨在逐步学习一系列任务。关键挑战在于灾难性遗忘（catastrophic forgetting, CF），而大多数研究努力都致力于缓解这一问题。然而，最新持续学习算法所达到的准确率与通过联合训练所有任务获得的理想或上界准确率之间仍存在显著差距。这一差距阻碍甚至阻止了持续学习在实际应用中的采用，因为准确率往往至关重要。最近，另一挑战——即任务间类别分离（inter-task class separation, ICS）——被识别出来，这促使人们对解决持续学习的原则方法进行理论研究。进一步的研究表明，凭借理论工具和大型基础模型的强大能力，现在有可能实现上界准确率，这一点已在文本和图像分类数据集上进行了经验验证。持续学习现在已准备好进入实际应用。本文综述了实现这一目标的主要研究，直观地和从神经科学研究的角度论证了该方法，并讨论了所获得的见解。