基于分组过程模型的角色-动作语义分割
计算机视觉与模式识别
2015-12-31 v1
摘要
角色-动作语义分割向着高级视频理解问题迈出了重要一步：正在发生什么动作；谁在执行该动作；以及该动作在时空中的位置。当前针对该问题的模型是局部的，基于分层条件随机场（CRF），无法捕捉视频片段的长距离交互。我们提出了一种新模型，将这些局部标注CRF与分层超体素分解相结合。超体素为CRF中不同尺度下节点的可能分组提供了线索，以鼓励自适应、高阶的组从而实现更有效的标注。我们的模型是动态的，并在推理过程中持续交换信息：局部CRF影响层次结构中哪些超体素处于活跃状态，而这些活跃节点影响CRF中的连通性；因此我们称之为分组过程模型。在近期大规模视频数据集上的实验结果显示，相对于SOTA有60%的相对提升，这证明了标注与分组之间动态双向流的有效性。
引用
@article{arxiv.1512.09041,
title = {Actor-Action Semantic Segmentation with Grouping Process Models},
author = {Chenliang Xu and Jason J. Corso},
journal= {arXiv preprint arXiv:1512.09041},
year = {2015}
}
备注
Technical report