基于鲁棒Transformer方法的小样本类增量学习

小样本类增量学习是类增量学习问题的一个扩展，其中模型在解决灾难性遗忘问题的同时，还面临数据稀缺的挑战。由于近期所有工作都基于卷积神经网络，其性能逊于Transformer方法，因此该问题仍是一个开放性问题。我们的论文提出了一种基于紧凑卷积Transformer的鲁棒Transformer方法。通过随机分类器的概念克服了小样本导致的过拟合问题，该分类器的权重从具有均值和方差向量的分布中采样，从而提高了正确分类的可能性；同时利用批归一化层稳定训练过程。灾难性遗忘问题则通过delta参数（即冻结骨干网络的同时，引入少量任务特定的可训练参数）来解决。我们开发了一种非参数方法来推断模型预测的delta参数。采用原型修正方法以避免因数据稀缺导致的偏置原型计算。通过在基准问题上的系列实验，证明了ROBUSTA的优势：无需任何数据增强协议，即可大幅超越先前的最优方法。