面向视频动作识别的类增量学习

我们解决了视频识别类增量学习中的灾难性遗忘问题，尽管持续学习已十分流行，该问题却未得到积极研究。我们的框架通过引入时间-通道重要性图，并利用这些重要性图借助知识蒸馏学习新样本的特征表示，以应对这一挑战性任务。我们还在目标函数中加入了正则化方案，促使视频中不同时间步得到的各个特征互不相关，从而通过缓解灾难性遗忘最终提升准确率。我们在基于 UCF101、HMDB51 和 Something-Something V2 数据集构建的全新类增量动作识别基准划分上评估了所提方法，并相较于原本为图像数据设计的现有持续学习方法，展示了我们算法的有效性。