DVI：用于自动驾驶的深度引导视频修复
计算机视觉与模式识别
2020-09-23 v1 人工智能
机器人学
图像与视频处理
摘要
为获得自动驾驶中清晰的街景与照片级真实感仿真，我们提出一种自动视频修复算法，可从视频中移除交通参与者并以深度/点云引导合成缺失区域。通过从拼接点云构建稠密 3D 地图，视频内各帧经由该公共 3D 地图实现几何关联。为填充帧中目标修复区域，可直接将其他帧的像素以正确遮挡关系变换至当前帧。此外，我们能够通过 3D 点云配准融合多个视频，从而用多个源视频修复目标视频。其动机在于解决长时间遮挡问题，即某遮挡区域在整个视频中从未可见。据我们所知，我们是首个融合多视频进行视频修复的。为验证方法有效性，我们构建了真实城市道路环境下的大规模修复数据集，含同步图像与激光雷达数据及诸多挑战性场景（如长时间遮挡）。实验结果表明，所提方法在所有指标上均优于最先进方法，尤其 RMSE（均方根误差）降低了约 13%。
引用
@article{arxiv.2007.08854,
title = {DVI: Depth Guided Video Inpainting for Autonomous Driving},
author = {Miao Liao and Feixiang Lu and Dingfu Zhou and Sibo Zhang and Wei Li and Ruigang Yang},
journal= {arXiv preprint arXiv:2007.08854},
year = {2020}
}