基于预训练 Transformer 的 S-Prompts 学习：领域增量学习中的奥卡姆剃刀
计算机视觉与模式识别
2023-03-21 v2 机器学习
摘要
最先进的深度神经网络在持续学习中仍难以解决灾难性遗忘问题。本文提出一种简单范式（称为 S-Prompting）和两种具体方法，以高度降低最典型持续学习场景之一——领域增量学习（DIL）中的遗忘程度。该范式的核心思想是利用预训练 transformers 跨领域独立学习 prompts，避免使用传统方法中常见的 exemplars（ exemplar，样本）。这带来了一个双赢局面：prompting 可为每个领域取得最佳效果。跨领域的独立 prompting 仅需一个交叉熵损失用于训练，以及一个简单的 K-NN 操作作为领域标识符用于推理。该学习范式衍生出一种图像 prompt 学习方法和一种新颖的语言-图像 prompt 学习方法。凭借优异的可扩展性（每个领域参数增加 0.03%），我们的最佳方法在三个标准 DIL 任务上比最先进的免 exemplar 方法的最佳结果取得了显著的相对提升（平均约 30%），甚至在其使用 exemplars 时相对超越约 6%。源代码见 \url{https://github.com/iamwangyabin/S-Prompts}。
引用
@article{arxiv.2207.12819,
title = {S-Prompts Learning with Pre-trained Transformers: An Occam's Razor for Domain Incremental Learning},
author = {Yabin Wang and Zhiwu Huang and Xiaopeng Hong},
journal= {arXiv preprint arXiv:2207.12819},
year = {2023}
}
备注
Accepted to NeurIPS 2022