基于高效多尺度体素雕刻的大规模场景自监督新视角二维图像合成
计算机视觉与模式识别
2023-06-27 v1 机器学习
机器人学
摘要
当AI模型能够创造逼真的新世界时，生成真实场景新视角的任务变得日益重要。在许多实际应用中，新视角合成方法尽可能锚定于物理世界，同时能从先前未见的视角想象它，这一点至关重要。尽管当前大多数方法在小型场景且无位姿与深度信息误差的虚拟环境中开发和测试，我们将边界推进到无人机新语境下真实世界的大规模领域。我们的算法贡献有两点。首先，我们通过引入一种高效多尺度体素雕刻方法，得以锚定在真实三维世界中，该方法能容纳位姿、深度和光照变化中的显著噪声，同时能在测试时从差异极大的位姿重建世界视图。其次，我们的最终高分辨率输出由体素雕刻模块自动生成的数据高效自训练，使其能灵活高效地适配任意场景。我们在真实环境中高度复杂且大规模的场景上证明了方法的有效性，并优于当前最先进水平。我们的代码公开可用：https://github.com/onorabil/MSVC。
引用
@article{arxiv.2306.14709,
title = {Self-supervised novel 2D view synthesis of large-scale scenes with efficient multi-scale voxel carving},
author = {Alexandra Budisteanu and Dragos Costea and Alina Marcu and Marius Leordeanu},
journal= {arXiv preprint arXiv:2306.14709},
year = {2023}
}
备注
11 pages, 3 figures