基于网络规模视频数据的广义零样本动作识别

监控视频中的动作识别通过检测犯罪事件或预测暴力紧急情况使我们的生活更安全。然而，高效的动作识别并非没有困难。首先，日常生活中有太多动作类别，我们无法事先预定义所有可能的动作类。此外，由于法律限制和隐私保护，很难收集某些特定动作（如偷窃和街头斗殴）的真实世界视频。这些挑战使得现有的数据驱动识别方法不足以达到期望性能。零样本学习有潜力应用于解决这些问题，因为它可以在没有正例的情况下进行分类。然而，当前的零样本学习算法是在不合理的设定下研究的，即测试阶段未见类缺席。受此启发，我们在更现实的广义零样本设定下研究监控视频中的动作识别任务，其中测试数据包含可见类和不可见类。据我们所知，这是首个在广义零样本设定下研究视频动作识别的工作。我们首先在一个网络规模视频数据上，对该新设定下的几种现有零样本学习方法进行了广泛的实证研究。我们的实验结果表明，在广义设定下，典型的零样本学习方法对我们所应用的数据集不再有效。然后，我们提出了一种通过部署广义零样本学习进行动作识别的方法，该方法将网络视频的知识迁移以检测监控视频中的异常动作。为了验证我们提出方法的有效性，我们进一步构建了一个由九类与公共安全情况相关的动作类组成的新监控视频数据集。