面向家庭环境中人类动作识别的视频领域增量学习
计算机视觉与模式识别
2024-12-24 v1
摘要
由于家庭环境中约束条件不确定因素的多样性和动态变化，识别日常人类动作 presents a significant challenge. 这促使需要不断适应各种用户和场景。对新遇到的域进行当前视频理解模型的微调通常会导致灾难性遗忘，即模型在先前学习的情景上表现下降。为解决此问题，我们形式化了视频领域增量学习 (VDIL) 的问题，这使模型能够在保持固定动作类别集合的同时，持续从不同域中学习。在现有的持续学习研究主要关注类别增量学习，而在视频理解中领域增量学习 largely 被忽视。本文引入了一个针对约束条件家庭环境中人类动作识别的领域增量基准测试。我们设计了三种域分割类型 (用户、场景、混合) 来系统性地评估现实家庭环境中域迁移带来的挑战。此外，我们提出了一种基于重放和储备抽样技术的基线学习策略，不使用域标签即可处理内存有限和任务无关的情况。广泛的实验结果表明，我们的简单抽样和重放策略在三个提出的基准测试中超越了大多数现有的持续学习方法。
引用
@article{arxiv.2412.16946,
title = {Video Domain Incremental Learning for Human Action Recognition in Home Environments},
author = {Yuanda Hu and Xing Liu and Meiying Li and Yate Ge and Xiaohua Sun and Weiwei Guo},
journal= {arXiv preprint arXiv:2412.16946},
year = {2024}
}