横屏到竖屏视频转换
计算机视觉与模式识别
2021-06-24 v2
摘要
随着移动视频的普及，大众倾向于在手持设备上观看竖屏视频。为重新激活横屏内容的曝光度，我们在此提出自动化横屏到竖屏（简称 H2V）视频转换的探索，并配以精确标注的 H2V-142K 数据集。具体而言，H2V 框架集成了视频镜头边界检测、主体选择与多目标跟踪，以促进保留主体的转换，其中关键在于主体选择。为此，我们提出 Rank-SS 模块，该模块检测人体对象，进而通过利用位置、外观与显著性线索选择需保留的主体。随后，框架自动围绕主体裁剪视频，从横屏源生成竖屏内容。为构建并评估我们的 H2V 框架，H2V-142K 数据集对 125 个视频（含 132K 帧）及 9,500 个视频封面密集标注了主体边界框；基于此，我们展示了相较于传统显著性方法的更优主体选择性能，并整体呈现出良好的横屏到竖屏转换性能。通过公开该数据集及我们的方法，我们希望为横屏到竖屏视频转换任务上更有价值的探索铺平道路。
引用
@article{arxiv.2101.04051,
title = {Horizontal-to-Vertical Video Conversion},
author = {Tun Zhu and Daoxin Zhang and Yao Hu and Tianran Wang and Xiaolong Jiang and Jianke Zhu and Jiawei Li},
journal= {arXiv preprint arXiv:2101.04051},
year = {2021}
}
备注
Accept by IEEE Transactions on Multimedia