LayerNorm 微调在视觉 Transformer 持续学习中有效性的研究
计算机视觉与模式识别
2023-08-21 v1
摘要
最先进的免回放持续学习方法利用视觉 Transformer 的特性来学习任务特定的提示(prompt),大幅减少了灾难性遗忘。然而,所学参数数量与性能之间存在权衡,使得此类模型计算开销大。在本工作中,我们旨在降低这一成本同时保持有竞争力的性能。我们通过重温并扩展一个简单的迁移学习思路来实现:学习任务特定的归一化层。具体而言,我们为每个持续学习任务调整 LayerNorm 的缩放与偏置参数,并基于任务特定键与预训练模型输出之间的相似度在推理时选择它们。为使分类器对推理过程中参数选择错误具有鲁棒性,我们引入了两阶段训练流程:首先优化任务特定参数,然后以推理时相同的选择流程训练分类器。在 ImageNet-R 和 CIFAR-100 上的实验表明,我们的方法取得了优于或与{最先进水平}相当的结果,同时计算代价更低。
引用
@article{arxiv.2308.09610,
title = {On the Effectiveness of LayerNorm Tuning for Continual Learning in Vision Transformers},
author = {Thomas De Min and Massimiliano Mancini and Karteek Alahari and Xavier Alameda-Pineda and Elisa Ricci},
journal= {arXiv preprint arXiv:2308.09610},
year = {2023}
}
备注
In The First Workshop on Visual Continual Learning (ICCVW 2023); Oral