结合图像数据三维卷积与光流生成时序动作提案的研究
计算机视觉与模式识别
2019-03-15 v2
摘要
本文提出了用于长未剪辑视频中时序动作提案生成的双流架构的若干变体。受近期利用三维卷积结合双流网络进行人体动作识别进展的启发，并基于单流时序动作提案（SST）架构，我们随后研究了四种不同的双流架构，其一支流使用图像序列，另一支流使用光流图像序列。这四种架构在模型的不同深度处融合两个独立流；针对每一种，我们系统地考察了广泛的参数范围并经验性地确定了最优参数化。在 THUMOS'14 数据集上的实验表明，所有四种双流架构均能超越原始单流 SST 并取得当前最优结果。额外实验揭示，通过将原先使用的 Brox 光流计算方法替换为 FlowNet2，改进并不局限于单一光流计算方法，且仍取得提升。
引用
@article{arxiv.1903.04176,
title = {Investigation on Combining 3D Convolution of Image Data and Optical Flow to Generate Temporal Action Proposals},
author = {Patrick Schlosser and David Münch and Michael Arens},
journal= {arXiv preprint arXiv:1903.04176},
year = {2019}
}