少即是多：通过摘要补丁令牌实现高效的多标签类增量学习
计算机视觉与模式识别
2024-05-27 v1 人工智能
摘要
提示调优已成为一种有效的免重放类增量学习（CIL）方法，它学习一组极小的任务特定参数（或提示）来指导预训练变换器在任务序列上学习。尽管有效，但提示调优方法在多标签类增量学习（MLCIL）场景中（其中一张图像包含多个前景类）表现不佳，因为难以选择与属于多个任务的不同前景对象对应的正确提示。为了规避这个问题，我们提出通过维护任务特定路径来消除提示选择机制，这允许我们学习与其他任务表示不交互的表示。由于在真正增量场景中，独立路径会因提示调优中二次复杂度的多头自注意力（MSA）操作而导致计算爆炸，我们提出将原始补丁令牌嵌入缩减为摘要令牌。然后对这些较少的摘要令牌应用提示调优以计算最终表示。我们提出的方法MULTI-LANE（通过摘要补丁令牌嵌入进行多标签类增量学习）能够在MLCIL中学习解耦的任务特定表示，同时确保快速推理。我们在常见基准上进行了实验，并证明我们的MULTI-LANE在MLCIL中达到了新的最先进水平。此外，我们展示了MULTI-LANE在CIL设置中也具有竞争力。源代码可在https://github.com/tdemin16/multi-lane获取。
引用
@article{arxiv.2405.15633,
title = {Less is more: Summarizing Patch Tokens for efficient Multi-Label Class-Incremental Learning},
author = {Thomas De Min and Massimiliano Mancini and Stéphane Lathuilière and Subhankar Roy and Elisa Ricci},
journal= {arXiv preprint arXiv:2405.15633},
year = {2024}
}
备注
Published at 3rd Conference on Lifelong Learning Agents (CoLLAs), 2024