从非结构化视频中关节对象类别的行为发现与对齐
计算机视觉与模式识别
2016-08-12 v2
摘要
我们提出一种自动系统，用于组织关节对象类别（例如老虎、马）的非结构化视频集合的内容。通过利用该类视频间重复的运动模式，我们的系统：1) 识别其特性行为；2) 恢复不同实例间的像素到像素对齐。我们的系统可用于组织视频集合以进行索引和检索。此外，它可作为从互联网视频中学习对象类别外观或行为的平台。传统的监督技术无法直接利用这一丰富数据，因为它们需要大量耗时的手动标注。行为发现阶段生成时间视频区间，每个区间自动裁剪为所发现行为的一个实例，并按类型聚类。它依赖于我们基于有序轨迹对（PoTs）位移的关节运动新颖运动表示。对齐阶段将数百个类别实例以极高精度对齐，尽管存在显著的外观变化（例如成年虎与幼虎）。它使用灵活的薄板样条（Thin Plate Spline）变形模型，该模型可随时间变化。我们在一个新的全标注数据集上仔细评估系统的每个步骤。在行为发现上，我们优于最先进的 Improved DTF 描述符。在空间对齐上，我们优于流行的 SIFT Flow 算法。
引用
@article{arxiv.1511.09319,
title = {Behavior Discovery and Alignment of Articulated Object Classes from Unstructured Video},
author = {Luca Del Pero and Susanna Ricco and Rahul Sukthankar and Vittorio Ferrari},
journal= {arXiv preprint arXiv:1511.09319},
year = {2016}
}
备注
19 pages, 19 figure, 3 tables. arXiv admin note: substantial text overlap with arXiv:1411.7883