通过持续预训练改善表示连续性
机器学习
2023-02-28 v1
摘要
我们考虑持续表示学习设定：依次在任务 上预训练模型 ，然后在每个任务 的少量数据上适配 以检查其是否遗忘了旧任务的信息。在 kNN 适配协议下，已有工作表明持续学习方法相比朴素训练（SGD）可改善遗忘。实际上，实践者并不使用 kNN 分类器——他们使用效果最佳的适配方法（例如微调）——在此我们发现，强持续学习基线表现不如朴素训练。有趣的是，我们发现来自迁移学习社区的一种方法（LP-FT）优于朴素训练与其他持续学习方法。即便在标准 kNN 评估协议下，LP-FT 在三个标准基准（顺序 CIFAR-10、CIFAR-100 与 TinyImageNet）上与强持续学习方法表现相当（同时更简单且所需内存更少）。LP-FT 还在真实世界卫星遥感数据集（FMoW）中减少了遗忘，且其变体在 NLP 持续学习基准上取得了最先进的准确率。
引用
@article{arxiv.2302.13289,
title = {Improving Representational Continuity via Continued Pretraining},
author = {Michael Sun and Ananya Kumar and Divyam Madaan and Percy Liang},
journal= {arXiv preprint arXiv:2302.13289},
year = {2023}
}