用于细粒度动作分割的分段时空CNN
计算机视觉与模式识别
2016-10-03 v4 机器人学
摘要
细粒度动作的联合分割与分类对于人机交互、视频监视以及人类技能评估等应用十分重要。然而，尽管大规模动作分类近期取得了实质性进展，最先进的细粒度动作识别方法性能仍然较低。我们提出了一种动作分割模型，该模型将底层时空特征与高层分段分类器相结合。我们的时空CNN由一个空间分量（使用卷积滤波器捕获物体及其关系信息）和一个时间分量（使用大型一维卷积滤波器捕获物体关系随时间变化的信息）组成。这些特征与对一个动作到另一个动作转换建模的半马尔可夫模型协同使用。我们为该系统引入了高效的约束分段推理算法，其速度比当前方法快几个数量级。我们突出了我们的分段时空CNN在烹饪与手术动作数据集上的有效性，相对于近期基线方法我们观察到了性能的显著提升。
引用
@article{arxiv.1602.02995,
title = {Segmental Spatiotemporal CNNs for Fine-grained Action Segmentation},
author = {Colin Lea and Austin Reiter and Rene Vidal and Gregory D. Hager},
journal= {arXiv preprint arXiv:1602.02995},
year = {2016}
}
备注
Updated from the ECCV 2016 version. We fixed an important mathematical error and made the section on segmental inference clearer