无人机第一人称视角的辐射场学习者
计算机视觉与模式识别
2024-08-13 v1
摘要
第一人称视角(FPV)对无人机航行具有巨大的潜力，为导航复杂建筑结构提供了激动人心的途径。然而，传统的神经辐射场(NeRF)方法面临采样单点每迭代以及需要大量视角监督的挑战。无人机视频加剧了这些问题，视角有限且空间尺度变化显著，导致在不同尺度上渲染细节不足。为此，我们引入 FPV-NeRF，通过三个关键方面解决这些挑战: (1) 时序一致性。利用时空连续性确保帧与帧之间的无缝一致性; (2) 全局结构。在点采样期间融合多种全局特征可保持空间完整性; (3) 局部细粒度。采用综合框架和多分辨率监督处理多尺度场景特征表示，以应对无人机视频的空间尺度问题。此外，由于公开可用的 FPV 视频稀缺，我们提出一种创新方法，通过 NeRF 从无人机航拍 footage 生成 FPV 视角，增强无人机的空间感知。我们构建的新数据集涵盖从户外到室内的多样化轨迹，与传统 NeRF 场景有显著差异。在包括室内外建筑结构的广泛实验中，FPV-NeRF 显示出对无人机飞行空间的优越理解能力，在我们精选的无人机数据集中超越了最先进的方法。探索我们的项目页面获取更多信息: https://fpv-nerf.github.io/。
引用
@article{arxiv.2408.05533,
title = {Radiance Field Learners As UAV First-Person Viewers},
author = {Liqi Yan and Qifan Wang and Junhan Zhao and Qiang Guan and Zheng Tang and Jianhui Zhang and Dongfang Liu},
journal= {arXiv preprint arXiv:2408.05533},
year = {2024}
}
备注
Accepted to ECCV 2024