流式视频中标签高效的在线持续目标检测
计算机视觉与模式识别
2023-08-24 v2
摘要
人类能够观看连续视频流，并以极小监督轻松实现新知识的持续获取与迁移，同时保留既往所学经验。相比之下，现有持续学习（CL）方法需要完全标注的标签才能从视频流中的各帧有效学习。在此，我们考察一个更真实且更具挑战性的问题——流式视频中的标签高效在线持续目标检测（LEOCOD）。我们提出一个即插即用模块 Efficient-CLS，可轻松嵌入现有持续学习器并改进其对视频流中目标检测的性能，同时降低数据标注成本与模型重训练时间。我们表明，在两个具挑战性的流式真实世界视频 CL 基准上，我们的方法在所有监督层级均以最小遗忘取得显著改进。值得注意的是，仅使用 25% 标注视频帧，我们的方法仍优于以全部视频帧 100% 标注训练的基线 CL 学习器。数据与源代码将公开于 https://github.com/showlab/Efficient-CLS。
引用
@article{arxiv.2206.00309,
title = {Label-Efficient Online Continual Object Detection in Streaming Video},
author = {Jay Zhangjie Wu and David Junhao Zhang and Wynne Hsu and Mengmi Zhang and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2206.00309},
year = {2023}
}
备注
ICCV 2023