StPR：面向无示例视频类增量学习的时空保持与路由
计算机视觉与模式识别
2025-10-01 v2
摘要
视频类增量学习（VCIL）旨在开发能够在不忘记先前已获取知识的前提下，持续学习新动作类别的模型。与传统类增量学习（CIL）不同，VCIL引入了时空结构的额外复杂性，使得在有效捕获帧共享语义和时序动态的同时，缓解灾难性遗忘尤为具有挑战性。现有方法要么依赖示例重绕复，引发存储和隐私方面的顾虑，要么采用静态图像方法，忽视了时序建模。为此，我们提出时空保持与路由（StPR），一个统一且无示例的VCIL框架，显式分离并保留时空信息。首先，我们引入帧共享语义蒸馏（FSSD），通过联合考虑语义灵敏度和分类贡献，识别具有语义稳定性和意义的通道。这些重要语义通道被选择性地正则化，以维持先验知识的同时允许适应。其次，我们设计基于时序分解的混合专家（TD-MoE），根据时序动态动态路由任务特定专家，从而实现无需任务ID或存储示例的推理。StPR有效地利用了空间语义和时序动态，实现了统一的、无示例的VCIL框架。在UCF101、HMDB51和Kinetics400上进行的大量实验表明，我们的方法在现有基线之上取得了更好的性能，同时在VCIL中提供了 improved 可解释性和效率。代码已包含在补充材料中。
引用
@article{arxiv.2505.13997,
title = {StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning},
author = {Huaijie Wang and De Cheng and Guozhang Li and Zhipeng Xu and Lingfeng He and Jie Li and Nannan Wang and Xinbo Gao},
journal= {arXiv preprint arXiv:2505.13997},
year = {2025}
}