UAVTwin：使用 Gaussian Splatting 的无人机神经数字孪生
计算机视觉与模式识别
2025-04-04 v1
摘要
我们提出了 UAVTwin，一种从真实世界环境中创建数字孪生并促进嵌入在无人机（UAVs）中的下游模型训练数据增强的方法。具体而言，我们的方法侧重于从无人机视角合成前景组件，例如复杂场景背景中处于运动状态的各种人类实例。这是通过将用于重建背景的 3D Gaussian Splatting (3DGS) 与可控制的合成人类模型相结合来实现的，这些模型以多种姿态展示出多样化的外观和动作。据我们所知，UAVTwin 是首个基于 3DGS 生成高保真数字孪生的无人机感知方法。所提出的工作通过针对具有多个动态对象和显著外观变化（这两者通常在基于 3DGS 的建模中引入伪影）的真实环境进行数据增强，显著增强了下游模型。为了应对这些挑战，我们提出了一种新颖的外观建模策略和掩码细化模块，以增强 3D Gaussian Splatting 的训练。我们通过实现比近期方法高 1.23 dB 的 PSNR 来证明了神经渲染的高质量。此外，我们通过展示在人体检测任务中 mAP 提高 2.5% 至 13.7% 来验证了数据增强的有效性。
引用
@article{arxiv.2504.02158,
title = {UAVTwin: Neural Digital Twins for UAVs using Gaussian Splatting},
author = {Jaehoon Choi and Dongki Jung and Yonghan Lee and Sungmin Eum and Dinesh Manocha and Heesung Kwon},
journal= {arXiv preprint arXiv:2504.02158},
year = {2025}
}