FacaDiffy：用于 inpainting 未见建筑立面部分的扩散模型
计算机视觉与模式识别
2025-02-24 v1 人工智能
摘要
高细节语义3D建筑模型在机器人、地理信息科学和计算机视觉中广泛应用。创建此类模型关键方面是使用检测建筑立面开口位置的2D冲突图。然而，现实中这些地图常因激光扫描过程中遇到的障碍物而不完整。为解决这一挑战，我们引入FacaDiffy，一种通过扩散模型完成冲突图中未见立面部分的方法。具体而言，我们提出了一种确定性射线分析方法，从现有3D建筑模型及其对应的激光扫描点云中推导出2D冲突图。进一步利用个人化Stable Diffusion模型的潜力，我们促进将未见的立面对象inpainting到这些2D冲突图中。为弥补真实世界训练数据的稀缺，我们还开发了一个可扩展管道，用于利用随机城市模型生成器和已标注的立面图像生成合成冲突图。广泛的实验表明，FacaDiffy在各种inpainting基线方法上实现了最先进的冲突图完成性能，并在应用完成的冲突图进行高清3D语义建筑重建时，将检测率提高了。该代码将在相应的GitHub存储库中公开：https://github.com/ThomasFroech/InpaintingofUnseenFacadeObjects
引用
@article{arxiv.2502.14940,
title = {FacaDiffy: Inpainting Unseen Facade Parts Using Diffusion Models},
author = {Thomas Froech and Olaf Wysocki and Yan Xia and Junyu Xie and Benedikt Schwab and Daniel Cremers and Thomas H. Kolbe},
journal= {arXiv preprint arXiv:2502.14940},
year = {2025}
}
备注
Accepted for GeoSpatial Week 2025, ISPRS Annals