面向装配视频的细粒度动作识别
计算机视觉与模式识别
2020-12-03 v1
摘要
本文研究在由一组基本物体构建结构(如一件家具或积木塔)的过程中识别装配动作的任务。识别全部范围的装配动作需要在空间细节层面上实现动作识别文献迄今未曾尝试的感知。我们将细粒度活动识别设定扩展至以其完整一般性处理装配动作识别任务,通过在单一框架内统一装配动作与运动学结构。我们利用该框架开发了一种从观测序列识别装配动作的通用方法,以及利用空间装配特殊结构的观测特征。最后,我们在两个应用驱动的数据源上对所提方法进行了实证评估:(1) IKEA家具装配数据集,与(2) 积木搭建数据集。在第一个数据集上,我们的系统以平均70%的逐帧精度与10%的平均归一化编辑距离识别装配动作。在第二个需要细粒度几何推理以区分不同装配的数据集上,我们的系统取得了23%的平均归一化编辑距离——相较先前工作相对提升69%。
引用
@article{arxiv.2012.01392,
title = {Fine-grained activity recognition for assembly videos},
author = {Jonathan D. Jones and Cathryn Cortesa and Amy Shelton and Barbara Landau and Sanjeev Khudanpur and Gregory D. Hager},
journal= {arXiv preprint arXiv:2012.01392},
year = {2020}
}
备注
8 pages, 6 figures. Submitted to RA-L/ICRA 2021