MatPredict：用于学习多样化室内物体材料属性的数据集与基准
计算机视觉与模式识别
2025-05-20 v1 人工智能
摘要
从相机图像确定材料属性可以扩大在室内环境中识别复杂物体的能力，这对于消费者机器人应用具有重要价值。为支持这一目标，我们引入了 MatPredict 数据集，将来自 Replica 数据集的高质量合成物体与 MatSynth 数据集的材料属性类别相结合，以创建具有多样化材料属性的物体。我们选取特定前景物体的 3D 网格，并以不同材料属性进行渲染。总计我们生成了 \textbf{18} 个常见物体和 \textbf{14} 种不同材料。我们展示了在这些物体中提供的灯光和相机位置的多样性。接下来，我们提供了一个从视觉图像推断材料属性的基准，使用这些扰动模型中的模型进行评估，讨论涉及的特定神经网络模型及其基于不同图像比较指标的性能。通过准确模拟不同材料与光的相互作用，我们可以增强现实感，这对于通过大规模仿真有效训练模型至关重要。本研究旨在革新消费者机器人中的感知能力。该数据集提供于 \href{https://huggingface.co/datasets/UMTRI/MatPredict}{here}，代码提供于 \href{https://github.com/arpan-kusari/MatPredict}{here}。
引用
@article{arxiv.2505.13201,
title = {MatPredict: a dataset and benchmark for learning material properties of diverse indoor objects},
author = {Yuzhen Chen and Hojun Son and Arpan Kusari},
journal= {arXiv preprint arXiv:2505.13201},
year = {2025}
}