一种用于语义快进第一人称视频的加权稀疏采样与平滑帧过渡方法
计算机视觉与模式识别
2019-04-05 v4
摘要
得益于低成本数码相机技术的进步与自记录文化的流行，互联网上的视觉数据量正走向与用户可用时间与耐心相反的方向。因此，大多数上传的视频注定被遗忘，无人观看地存放在计算机文件夹或网站中。在本工作中，我们解决在不丢失相关内容的情况下创建平滑快进视频的问题。我们提出一种新的自适应帧选择，表述为加权最小重构问题，其与平滑帧过渡方法相结合，可加速第一人称视频，突出相关片段并避免视觉不连续。实验表明，我们的方法能够以比最先进（SOTA）技术更短的时间快进视频，保留尽可能多的相关信息与平滑度。我们还提出了一个 80 小时多模态（RGB-D、IMU 和 GPS）第一人称视频数据集，带有记录者档案、帧场景、活动、交互和注意力标注。
引用
@article{arxiv.1802.08722,
title = {A Weighted Sparse Sampling and Smoothing Frame Transition Approach for Semantic Fast-Forward First-Person Videos},
author = {Michel Melo Silva and Washington Luis Souza Ramos and Joao Klock Ferreira and Felipe Cadar Chamone and Mario Fernando Montenegro Campos and Erickson Rangel Nascimento},
journal= {arXiv preprint arXiv:1802.08722},
year = {2019}
}
备注
Accepted for publication in the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018. Link to the project wesite: https://www.verlab.dcc.ufmg.br/semantic-hyperlapse/