可证明的对比式持续学习

持续学习需要在动态数据分布下学习递增任务。迄今为止，人们观察到，对持续学习中的训练采用对比损失和蒸馏损失的组合能获得卓越性能。鉴于目前缺乏令人信服的理论解释，我们在本 work 中填补了这一空白，通过建立理论性能保证来揭示模型性能如何由对比式持续学习框架中先前任务的训练损失所界定。我们的理论解释进一步支持预训练能益于持续学习的观点。受我们对这些保证的理论分析启发，我们提出了一种新的对比式持续学习算法称为 CILA，该算法为不同任务使用自适应蒸馏系数。这些蒸馏系数通过先前任务的平均蒸馏损失与平均对比损失之比轻松计算。我们的方法在标准基准上表现出色，实现了新的最先进性能。