用于学习长期在线视频表征的记忆扭曲
计算机视觉与模式识别
2018-03-30 v1
摘要
本文提出一种新颖的基于记忆的在线视频表征，其高效、准确且具有预测性。这与先前工作形成对比，后者常依赖计算繁重的3D卷积、在对齐跨时间特征时忽略实际运动，或以离线模式运行以利用未来帧。具体而言，我们的记忆(i)持有特征表征，(ii)随时间进行空间扭曲以补偿观测者与场景运动，(iii)可携带长期信息，且(iv)能够预测未来帧中的特征表征。通过探索一种在多时间尺度上运行的变体，我们高效地学习了更长时间跨度的信息。我们将在线框架应用于视频中的目标检测，在ImageNet-VID数据集上相比即便使用未来帧的先前工作获得了2.3倍的显著加速，且仅损失0.9% mAP。最后，我们在两种新颖检测设置中展示了我们表征的预测特性，其中特征随时间传播以(i)在多线在线设置中通过超过10% mAP显著增强实时检测器，以及(ii)预判未来帧中的目标。
引用
@article{arxiv.1803.10861,
title = {Memory Warps for Learning Long-Term Online Video Representations},
author = {Tuan-Hung Vu and Wongun Choi and Samuel Schulter and Manmohan Chandraker},
journal= {arXiv preprint arXiv:1803.10861},
year = {2018}
}