单目视频中虚拟物体的尺度感知插入
计算机视觉与模式识别
2020-12-07 v1 多媒体
摘要
本文中，我们提出一种尺度感知方法，用于将具有合适尺寸的虚拟物体插入单目视频。为应对从单目视频恢复几何时的尺度模糊问题，我们以贝叶斯方法结合物体尺寸先验来估计视频中的全局尺度物体，其中场景物体尺寸须严格符合同一全局尺度，且依据物体类别的尺寸分布最大化全局尺度的可能性。为此，我们提出一个物体类别尺寸数据集：Metric-Tree，一种包含 900 多个物体类别尺寸及其对应图像的层次化表示。为处理从视频恢复的物体不完整问题，我们提出一种新颖的尺度估计方法，提取物体的合理维度用于尺度优化。实验表明，我们的尺度估计方法优于 SOTA 方法，并对不同视频场景具有相当的有效性与鲁棒性。Metric-Tree 已发布于：https://metric-tree.github.io
引用
@article{arxiv.2012.02371,
title = {Scale-aware Insertion of Virtual Objects in Monocular Videos},
author = {Songhai Zhang and Xiangli Li and Yingtian Liu and Hongbo Fu},
journal= {arXiv preprint arXiv:2012.02371},
year = {2020}
}
备注
Accepted at ISMAR 2020