自监督循环神经-解析方法用于新视角合成与三维重建
计算机视觉与模式识别
2025-03-06 v1
摘要
从录制视频中生成新视角对于实现自主无人机导航至关重要。神经渲染的最新进展推动了能够渲染新轨迹的方法的快速发展。然而，这些方法在远离训练数据的区域往往泛化能力不足，且缺乏优化飞行路径，导致重建效果不佳。我们提出了一种自监督循环神经-解析流水线，将高质量神经渲染输出与解析方法的精确几何洞察相结合。我们的方案改善了新视角合成中的RGB与网格重建，特别是在采样不足区域和与训练数据集完全不同的区域。我们采用了一种有效的基于Transformer的架构进行图像重建，以细化和适配合成过程，使系统能够有效处理新颖的、未见的姿态而无需依赖大规模标注数据集。我们的结果在新视角渲染和三维重建方面均展现了显著提升，据我们所知这是首次实现，为复杂户外环境中的自主导航设定了新标准。
引用
@article{arxiv.2503.03543,
title = {A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction},
author = {Dragos Costea and Alina Marcu and Marius Leordeanu},
journal= {arXiv preprint arXiv:2503.03543},
year = {2025}
}
备注
Published in BMVC 2024, 10 pages, 4 figures