基于材料信息的高斯溅写3D数字孪生重建

数字孪生的3D重建通常依赖LiDAR-based方法，这些方法提供准确的几何信息，但缺乏相机天然捕获的语义和纹理。传统的LiDAR-相机融合方法需要复杂的标定，仍在处理某些材料（如玻璃）时存在困难，这些材料在图像中清晰可见，但在点云中表现不佳。我们提出了仅使用相机的管线，通过多视图图像进行3D高斯溅写重建，提取语义材料掩码，转换高斯表示为带投影材料标签的网格表面，并为现代图形引擎和模拟器分配基于物理的材料属性，以实现精确的传感器模拟。该方法结合了照片逼真的重建与基于物理的材料分配，提供了与LiDAR-相机融合相当的传感器模拟保真度，同时消除了硬件复杂性和标定要求。我们使用来自仪器化测试车辆的内部数据集验证了相机-only方法，利用LiDAR作为反射率基准，并结合图像相似性指标进行评估。