从飞行到洞察：基于高斯点云和语言引导分段的航空检查语义3D重建
图形学
2025-05-26 v1 计算机视觉与模式识别
图像与视频处理
摘要
高保真3D重建对于基础设施监测、结构评估和环境调查等航空检查任务至关重要。虽然传统的测量技术能够实现几何建模，但缺乏语义可解释性，限制了其在自动化检查工作流程中的有效性。近期在神经渲染和3D高斯点云(3DGS)方面的进展提供了高效且照片逼真的重建，但同样缺乏场景级的理解。本文提出了一种基于无人机的管线，扩展Feature-3DGS以实现语言引导的3D分段。我们利用基于LSeg的特征场结合CLIP嵌入，生成对语言提示作出响应的热力图。对其进行阈值处理以生成粗略分段，然后使用得分最高的点作为提示，输入SAM或SAM2对新视图渲染进行精细的2D分段。我们的结果突出了各种特征场 backbone(CLIP-LSeg、SAM、SAM2)在捕获大规模户外环境中有意义结构方面的优势与局限。我们展示，这种混合方法能够实现对照片逼真的3D重建的灵活、语言驱动的交互，为语义航空检查和场景理解开辟了新的可能性。
引用
@article{arxiv.2505.17402,
title = {From Flight to Insight: Semantic 3D Reconstruction for Aerial Inspection via Gaussian Splatting and Language-Guided Segmentation},
author = {Mahmoud Chick Zaouali and Todd Charter and Homayoun Najjaran},
journal= {arXiv preprint arXiv:2505.17402},
year = {2025}
}