视频基元草图：一种统一的视频中层表示
计算机视觉与模式识别
2015-02-11 v1
摘要
本文提出一种称为视频基元草图(Video Primal Sketch, VPS)的中层视频表示，它集成了两类模型：i) 使用静态或运动基元显式表示运动角点、线、特征点等的稀疏编码模型；ii) 复现从输入视频提取的特征统计以隐式表示纹理运动（如水、火）的FRAME/MRF模型。特征统计包括时空滤波器直方图和速度分布。本文对文献作出三点贡献：i) 使用参数生成模型学习视频基元字典；ii) 提出用于建模和合成纹理运动的时空FRAME (ST-FRAME)和运动-表观FRAME (MA-FRAME)模型；iii) 开发用于通用视频表示的简洁混合模型。给定输入视频，VPS为不同运动模式自动选择合适的模型，并且与高层动作表示兼容。在实验中，我们合成了若干纹理运动；使用VPS重建真实视频；报告了一系列人类感知实验以验证重建视频的质量；展示了VPS如何随视频中的尺度过渡而变化；并呈现了VPS与高层动作模型之间的紧密联系。
引用
@article{arxiv.1502.02965,
title = {Video Primal Sketch: A Unified Middle-Level Representation for Video},
author = {Zhi Han and Zongben Xu and Song-Chun Zhu},
journal= {arXiv preprint arXiv:1502.02965},
year = {2015}
}