面向教室监控图像活动识别的少样本持续学习
计算机视觉与模式识别
2024-09-06 v1
摘要
活动识别在“AI + 教育”领域的应用正受到越来越多的关注。然而，当前工作主要集中于手动拍摄视频中的活动识别以及有限的活动类型，很少关注真实教室监控图像中的活动识别。在真实教室场景中，阅读等正常教学活动占样本的很大比例，而进食等罕见非教学活动持续出现。这要求模型能够从少量样本中学习非教学活动，同时不遗忘正常教学活动，这需要少样本持续学习（FSCL）能力。为了填补这一空白，我们构建了一个专注于教室监控图像活动识别的持续学习数据集，称为 ARIC（Activity Recognition in Classroom）。该数据集具有多视角、活动种类丰富和真实场景等优势，但也存在活动相似和样本分布不均衡等挑战。为了克服这些挑战，我们设计了一种结合监督对比学习（SCL）和自适应协方差分类器（ACC）的少样本持续学习方法。在基础阶段，我们提出了一种基于特征增强的 SCL 方法以提升模型的泛化能力。在增量阶段，我们采用 ACC 以更准确地描述新类的分布。实验结果表明，我们的方法在 ARIC 数据集上优于其他现有方法。
引用
@article{arxiv.2409.03354,
title = {Few-Shot Continual Learning for Activity Recognition in Classroom Surveillance Images},
author = {Yilei Qian and Kanglei Geng and Kailong Chen and Shaoxu Cheng and Linfeng Xu and Hongliang Li and Fanman Meng and Qingbo Wu},
journal= {arXiv preprint arXiv:2409.03354},
year = {2024}
}