持续超变换器：面向持续少样本学习的元学习器
机器学习
2024-08-20 v3 计算机视觉与模式识别
摘要
我们关注从顺序到达的多个任务中无遗忘学习的问题，其中每个任务由新颖或已见类别的少样本情景定义。我们使用近期发布的 HyperTransformer（HT，一种基于 Transformer 的超网络，可直接从支撑集生成专门的任务特定 CNN 权重）来解决该问题。为从连续任务序列中学习，我们提出递归地将生成的权重作为 HT 下一任务的输入重用。如此，生成的 CNN 权重本身充当已学任务的表示，且 HT 被训练以更新这些权重，从而可在不遗忘过往任务的情况下学习新任务。该方法不同于大多数依赖重放缓冲、权重正则化或任务相关架构变更的持续学习算法。我们证明，所提出的配备原型损失的持续超变换器方法能够为多种场景学习与保留过往任务知识，包括从 mini-batch 学习，以及任务增量与类别增量学习场景。
引用
@article{arxiv.2301.04584,
title = {Continual HyperTransformer: A Meta-Learner for Continual Few-Shot Learning},
author = {Max Vladymyrov and Andrey Zhmoginov and Mark Sandler},
journal= {arXiv preprint arXiv:2301.04584},
year = {2024}
}
备注
TMLR