一种面向短视频的通用目标重识别系统
计算机视觉与模式识别
2021-02-11 v1
摘要
近来,TikTok和Kwai等短视频应用大获成功。为满足日益增长的需求并充分利用短视频中的视觉信息,作为上游任务,需要对每个短视频中的目标进行定位与分析。由此引出一个问题——如何跨大量具有数百类别和复杂视觉特效(VFX)的短视频,提升目标检测、跟踪与重识别的准确性和鲁棒性。为此,本文提出了一种由检测模块、跟踪模块和通用目标重识别模块组成的系统,其从短视频中捕获主要目标的特征。特别地,针对实际短视频应用中的高效需求,在目标检测模块中提出了时间信息融合网络(TIFN),其展现出与最先进视频目标检测器可比的精度及改进的时间效率。此外,为缓解短视频中轨迹片段化问题,在跟踪模块中提出了跨层逐点孪生网络(CPSN)以增强外观模型的鲁棒性。而且,为评估所提系统,分别构建了包含真实世界短视频的两个挑战性数据集,用于视频目标轨迹提取与通用目标重识别。总体而言,对各模块及整个系统的大量实验证明了我们系统的有效性与高效性。
引用
@article{arxiv.2102.05275,
title = {A Generic Object Re-identification System for Short Videos},
author = {Tairu Qiu and Guanxian Chen and Zhongang Qi and Bin Li and Ying Shan and Xiangyang Xue},
journal= {arXiv preprint arXiv:2102.05275},
year = {2021}
}
备注
9 pages, 8 figures