基于门控类注意力与级联特征漂移补偿的视觉 Transformer 无样本持续学习
计算机视觉与模式识别
2023-07-28 v3
摘要
我们提出了一种用于 ViT 无样本类增量训练的新方法。无样本持续学习的主要挑战在于保持学习器的可塑性，同时不引发对先前所学任务的灾难性遗忘。这通常通过样本回放实现，其有助于重新校准先前任务分类器以适应学习新任务时出现的特征漂移。然而，样本回放需保留先前任务的样本，这对许多应用而言可能不可行。为解决 ViT 持续训练问题，我们首先提出门控类注意力以最小化最终 ViT transformer 块中的漂移。该基于掩码的门控应用于最后一个 transformer 块的类注意力机制，并强力约束对先前任务至关重要的权重。重要的是，门控类注意力在推理时不需要任务 ID，这使其区别于其他参数隔离方法。其次，我们提出一种新的特征漂移补偿方法，可在学习新任务时适应主干网络中的特征漂移。门控类注意力与级联特征漂移补偿的结合，在面向新任务的可塑性的同时限制了先前任务的遗忘。在 CIFAR-100、Tiny-ImageNet 与 ImageNet100 上开展的广泛实验表明，我们的无样本方法与基于 rehearsal 的 ViT 方法相比取得了具竞争力的结果。
引用
@article{arxiv.2211.12292,
title = {Exemplar-free Continual Learning of Vision Transformers via Gated Class-Attention and Cascaded Feature Drift Compensation},
author = {Marco Cotogni and Fei Yang and Claudio Cusano and Andrew D. Bagdanov and Joost van de Weijer},
journal= {arXiv preprint arXiv:2211.12292},
year = {2023}
}