持续学习提升零样本动作识别

零样本动作识别需要强大的泛化能力，从预训练和已见类别推理到新出现的未见类别。类似地，持续学习旨在开发能够有效泛化并在不忘记先前学习任务的同时学习新任务的模型。虽然零样本和持续学习的泛化目标密切相关，但持续学习的技术尚未应用于零样本动作识别。本文提出一种基于持续学习的方法来解决零样本动作识别问题。该模型称为生成式迭代学习（Generative Iterative Learning, GIL），它使用过去类别合成特征的记忆库，并将这些合成特征与来自新类别的真实特征相结合。该记忆库用于训练分类模型，确保对旧类别和新类别的平衡曝光。实验表明，GIL在多个基准测试中提升了未见类别的泛化性能，实现了零样本识别的新型态的性能提升。重要的是，GIL还在更具挑战性的广义零样本设置中提升了性能，该设置要求模型在微调前保留有关已见类别的知识。