弱监督视频个体计数
计算机视觉与模式识别
2023-12-12 v1
摘要
视频个体计数(VIC)旨在预测单个视频中独立个体的数量。现有方法基于个体的轨迹标签学习表征,而这些标签的标注成本高昂。为了更真实地反映实际挑战,我们引入了一项弱监督 VIC 任务,其中不提供轨迹标签,而是提供两类标签,分别表示进入视野(流入)和离开视野(流出)的流量。我们还提出了首个解决方案作为基线,将该任务建模为组级匹配下的弱监督对比学习问题。为此,我们设计了一种端到端可训练的软对比损失,以驱动网络区分流入、流出及剩余部分。为促进该方向的未来研究,我们从现有 VIC 数据集 SenseCrowd 和 CroHD 生成标注,并构建了一个新数据集 UAVVIC。大量实验结果表明,我们的弱监督基线方法优于监督方法,因此在向更具实际意义的弱监督任务过渡时几乎没有信息损失。代码与训练模型将公开于 \href{https://github.com/streamer-AP/CGNet}{CGNet}。
引用
@article{arxiv.2312.05923,
title = {Weakly Supervised Video Individual CountingWeakly Supervised Video Individual Counting},
author = {Xinyan Liu and Guorong Li and Yuankai Qi and Ziheng Yan and Zhenjun Han and Anton van den Hengel and Ming-Hsuan Yang and Qingming Huang},
journal= {arXiv preprint arXiv:2312.05923},
year = {2023}
}