用于视频分类的光流特征幻觉生成
计算机视觉与模式识别
2019-06-24 v2
摘要
外观与运动是刻画和表征视频内容的两个关键组成部分。当前，双流模型已在视频分类上取得最优性能。然而，提取运动信息（具体以光流特征形式）计算开销极大，尤其对于大规模视频分类。本文中，我们提出一种运动幻觉网络，即MoNet，从外观特征想象出光流特征，而无需依赖光流计算。具体而言，MoNet对外观特征的时间关系建模，并利用光流特征与并发连接的上下文关系。大量实验结果表明，所提MoNet能有效且高效地幻觉生成光流特征，其与外观特征结合一致地提升了视频分类性能。此外，MoNet可帮助双流视频分类削减近一半的计算与数据存储负担。我们的代码见：https://github.com/YongyiTang92/MoNet-Features。
引用
@article{arxiv.1905.11799,
title = {Hallucinating Optical Flow Features for Video Classification},
author = {Yongyi Tang and Lin Ma and Lianqiang Zhou},
journal= {arXiv preprint arXiv:1905.11799},
year = {2019}
}
备注
Accepted by IJCAI 2019