一步学习，一步回顾

随着预训练视觉模型的兴起，视觉微调受到了广泛关注。当前主流的全量微调方法因仅专注于拟合下游训练集而遭受知识遗忘问题。在本文中，我们提出了一种基于权重回滚的新型微调方法，称为 OLOR（One step Learning, One step Review）。OLOR 将微调与优化器相结合，在每一步的权重更新项中引入权重回滚项。这确保了上游和下游模型权重范围的一致性，有效缓解了知识遗忘并提升了微调性能。此外，我们提出了一种逐层惩罚机制，利用惩罚衰减和多样化衰减率来调整各层的权重回滚水平，以适应不同的下游任务。通过在图像分类、目标检测、语义分割和实例分割等多种任务上的广泛实验，我们证明了所提出的 OLOR 具有通用适用性和最先进的性能。代码地址：https://github.com/rainbow-xiao/OLOR-AAAI-2024。