FFNet：基于强化学习的视频快进方法

对于许多计算、通信、存储和能源资源受限的应用，迫切需要有能够选择输入视频中信息丰富子集以在或接近实时下进行高效处理的计算机视觉方法。文献中存在两类相关方法：为视频生成预告片，或在观看/处理视频时进行快进。第一类由视频摘要技术支撑，需要处理整个视频以选择重要子集展示给用户。在第二类中，当前的快进方法依赖于手动控制或播放速度的自动调节，往往不能准确表征视频，且可能仍需处理每一帧。本文提出 FastForwardNet（FFNet），一种受视频摘要启发并以不同方式实现快进的强化学习智能体。它是一个在线框架，可自动快进视频并实时向用户呈现具有代表性的帧子集。它不需要处理整个视频，而仅需处理由快进智能体选定的部分，这使得过程计算效率极高。我们所提方法的在线特性还使用户能从视频任意位置开始快进。在两个真实世界数据集上的实验表明，我们的方法能以低得多的处理需求提供对输入视频更好的表征。