DenseImage网络:视频时空演化编码与理解
计算机视觉与模式识别
2018-05-22 v1
摘要
许多领先的视频理解方法渴求数据且耗时,未能高效捕捉时空演化的要义。最新研究表明CNN网络可推理图像中实体的静态关系。为进一步挖掘其在动态演化推理上的能力,我们引入一种称为DenseImage网络(DIN)的新型网络模块,其主要贡献有二:1)一种新颖的视频紧凑表示,将其显著时空演化提炼为称为DenseImage的矩阵,便于高效视频编码;2)提出一种基于DenseImage与保时序CNN网络的简洁而强大的学习策略用于视频理解,其包含以不同滤波器宽度在多个时间尺度上捕捉时间演化的局部时间相关性约束。在两个近期具挑战性基准上的大量实验表明,我们的DenseImage网络能准确捕捉相似动作间的共性时空演化,即便存在巨大视觉差异或不同时间尺度。此外,我们以低得多的时空与内存代价在动作与手势识别上取得最先进结果,显示出其在视频表示与理解中的巨大潜力。
引用
@article{arxiv.1805.07550,
title = {DenseImage Network: Video Spatial-Temporal Evolution Encoding and Understanding},
author = {Xiaokai Chen and Ke Gao},
journal= {arXiv preprint arXiv:1805.07550},
year = {2018}
}
备注
7 pages