ZSTAD：零样本时间活动检测
计算机视觉与模式识别
2020-03-13 v1
摘要
视频分析与监控的一个重要组成部分是时间活动检测，即同时识别并定位长未修剪视频中的活动。目前，最有效的时间活动检测方法基于深度学习，并且在使用大规模标注视频训练时通常表现非常好。然而，由于某些活动类别的视频不可得以及耗时的数据标注，这些方法在实际应用中受限。为解决这一具有挑战性的问题，我们提出了一种称为零样本时间活动检测（ZSTAD）的新任务设定，其中训练时从未见过的活动仍可被检测。我们设计了一个基于 R-C3D 的端到端深度网络作为该方案的架构。所提网络通过一种创新损失函数进行优化，该函数在学习可见与不可见活动的共性语义的同时考虑活动标签及其超类的嵌入。在 THUMOS14 和 Charades 数据集上的实验显示了在检测未见活动方面 promising 的性能。
引用
@article{arxiv.2003.05583,
title = {ZSTAD: Zero-Shot Temporal Activity Detection},
author = {Lingling Zhang and Xiaojun Chang and Jun Liu and Minnan Luo and Sen Wang and Zongyuan Ge and Alexander Hauptmann},
journal= {arXiv preprint arXiv:2003.05583},
year = {2020}
}