Skyeyes：使用航拍视角图像的地面漫游
计算机视觉与模式识别
2024-09-26 v1
摘要
将基于航拍图像的场景生成整合到自动驾驶和游戏等应用中，可以增强 3D 环境的真实感，但在为遮挡区域创建详细内容以及确保实时、一致的渲染方面仍存在挑战。在本文中，我们介绍了 Skyeyes，这是一种新颖的框架，仅使用航拍视角输入即可生成逼真的地面视角图像序列，从而创造地面漫游体验。更具体地说，我们将 3D 表示与视角一致性生成模型相结合，以确保生成图像之间的连贯性。这种方法允许创建几何一致的地面视角图像，即使在视角差异较大的情况下也是如此。这些图像保持了更好的时空连贯性和真实感，增强了从航拍视角的场景理解和可视化。据我们所知，目前没有包含成对地理对齐的航拍和地面视角图像的公开数据集。因此，我们使用 Unreal Engine 构建了一个大型的、合成的、地理对齐的数据集。在该合成数据集上的定性和定量分析表明，与其他领先的合成方法相比，该方法展现出更优的结果。更多结果请参见项目页面：https://chaoren2357.github.io/website-skyeyes/。
引用
@article{arxiv.2409.16685,
title = {Skyeyes: Ground Roaming using Aerial View Images},
author = {Zhiyuan Gao and Wenbin Teng and Gonglin Chen and Jinsen Wu and Ningli Xu and Rongjun Qin and Andrew Feng and Yajie Zhao},
journal= {arXiv preprint arXiv:2409.16685},
year = {2024}
}