基于高性能计算加速时序动作提议生成
计算机视觉与模式识别
2022-03-21 v4 分布式、并行与集群计算
摘要
时序动作识别通常依赖于时序动作提议生成来假设动作，算法往往需要处理极长视频序列并输出每视频中每个潜在动作的起止时间，计算代价高昂。为此，在边界敏感网络基础上我们提出一种称为多路径时序卷积网络（MTN）的新时序卷积网络，其由多路径 DenseNet 与 SE-ConvNet 两部分组成。本工作中，进一步将一种基于消息传递接口（MPI）的高性能环形并行架构引入时序动作提议生成，该架构为可靠通信协议，以响应大内存占用与大量视频的需求。值得注意的是，通过在新建架构的多计算负载间增加连接，总数据传输得以减少。研究发现，相较于传统参数服务器架构，我们的并行架构在多 GPU 时序动作检测任务上效率更高，适用于处理时序动作提议生成任务，尤其适用于百万级视频的大规模数据集。我们在 ActivityNet-1.3 与 THUMOS14 上实验，该方法以高召回率与高时序精度优于其他 SOTA 时序动作检测方法。此外，本文进一步提出一种时间度量以评估分布式训练过程中的速度表现。
引用
@article{arxiv.1906.06496,
title = {Accelerating temporal action proposal generation via high performance computing},
author = {Tian Wang and Shiye Lei and Youyou Jiang and Choi Chang and Hichem Snoussi and Guangcun Shan},
journal= {arXiv preprint arXiv:1906.06496},
year = {2022}
}
备注
11 pages, 12 figures