单阶段基于提示的持续学习
计算机视觉与模式识别
2024-02-27 v1 人工智能
摘要
基于提示的持续学习 (PCL) 作为一种有前景的持续学习解决方案受到了广泛关注，因为它在实现最先进性能的同时，避免了隐私侵犯和内存开销问题。尽管如此，现有的 PCL 方法由于涉及两个 Vision Transformer (ViT) 前馈阶段而面临巨大的计算负担：一个是用于生成提示查询以从提示池中选择提示的查询 ViT；另一个是混合所选提示与图像令牌信息的主干 ViT。为了解决这个问题，我们通过直接使用中间层的令牌嵌入作为提示查询，引入了一种单阶段 PCL 框架。这种设计消除了对查询 ViT 额外前馈阶段的需求，使得训练和推理的计算成本降低了约 50%，而准确率下降幅度小于 1%。我们进一步引入了查询 - 池正则化 (QR) 损失，以调节提示查询与提示池之间的关系，从而提高表示能力。QR 损失仅在训练期间应用，因此在推理时不会产生来自 QR 损失的计算开销。借助 QR 损失，我们的方法在推理期间保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量持续学习基准测试中，性能优于之前的两阶段 PCL 方法约 1.4%。
引用
@article{arxiv.2402.16189,
title = {One-stage Prompt-based Continual Learning},
author = {Youngeun Kim and Yuhang Li and Priyadarshini Panda},
journal= {arXiv preprint arXiv:2402.16189},
year = {2024}
}