OpenMaterial：用于3D重建的大规模复杂材料数据集
计算机视觉与模式识别
2025-11-04 v2
摘要
近期深度学习技术，如神经辐射场（neural radiance fields）和隐式神经表示，显著推进了3D重建。然而，在存在镜面反射、折射和透明度等复杂光学特性的材料（如金属、玻璃和塑料）的物体重建仍然具有挑战性，因为这些现象会导致多视角颜色一致性失效。进一步缓解这一局限的是缺乏能够显式建模材料相关光传输的基准数据集。为此，我们引入OpenMaterial，一个用于评估材料感知3D重建的大规模半合成数据集。它包含1001个物体，涵盖295种不同的材料，包括导体、介质、塑料及其粗糙变体，在714种多样化的照明条件下进行捕获。通过整合实验测量的折射率（Index of Refraction, IOR）光谱，OpenMaterial能够生成高保真多视角图像，准确模拟复杂的光-物质相互作用。它提供了多视角图像、3D形状模型、相机姿态、深度图和物体掩码，建立了评估在挑战性材料上3D重建的第一个广泛基准。我们对11种最先进的3D重建和新视角合成方法进行评估，进行消融研究以评估材料类型、形状复杂度和照明对重建性能的影响。我们的结果表明，OpenMaterial为开发更具鲁棒性、基于物理的3D重建技术提供了坚实且公平的基准，能够更好地处理现实世界的光学复杂性。
引用
@article{arxiv.2406.08894,
title = {OpenMaterial: A Large-scale Dataset of Complex Materials for 3D Reconstruction},
author = {Zheng Dang and Jialu Huang and Fei Wang and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2406.08894},
year = {2025}
}