基于动态图像网络的动作识别

我们引入了“动态图像”的概念，这是一种用于视频分析的新型紧凑视频表示，尤其在与卷积神经网络（CNN）结合使用时。动态图像利用“排序池化”（rank pooling）的概念对诸如RGB或光流视频等时序数据进行编码。其思想是学习一个捕捉数据时间演化的排序机器，并将后者的参数用作表示。当使用线性排序机器时，所得表示呈图像形式，我们称之为动态的，因为它除了外观之外还总结了视频动态。这是一个强大的想法，因为它允许将任何视频转换为图像，从而可以立即将现有的为静态图像分析预训练的CNN模型扩展到视频。我们还提出了一种高效且有效的近似排序池化算子，将标准排序池化算法加速数个数量级，并将其表述为一个CNN层。这一新层允许将动态图像推广到动态特征图。我们在动作识别的标准基准上展示了新表示的强大能力，取得了最先进的性能。