通过在合成数据中植入自然图像模式学习零样本材料状态分割
计算机视觉与模式识别
2025-08-04 v6
摘要
材料和其状态的视觉识别对于理解物理世界至关重要，从识别表面湿润区域或织物污渍，到检测植物感染区域或岩石中的矿物。由于材料状态的分散性和渐进性，收集捕捉这种巨大变异性的数据十分复杂。手动标注真实世界图像受限于成本和精度，而合成数据虽然准确且廉价，却缺乏真实世界的多样性。本工作旨在通过将从真实世界图像中自动提取的模式注入合成数据来弥合这一差距。因此，从自然图像中收集的模式被用于生成材料并将其映射到合成场景中。这种无监督方法在保持合成数据精度和可扩展性的同时，捕捉了真实世界的复杂性。我们还提出了首个全面的零样本材料状态分割基准，利用涵盖食品、土壤、建筑、植物、液体等多个领域的真实世界图像，每种材料均呈现湿润、干燥、感染、煮熟、烧焦等多种状态。标注包括具有相似但不完全相同材料区域之间的部分相似性，以及仅针对完全相同材料状态的硬分割。该基准难倒了顶级基础模型，暴露了现有数据收集方法的局限性。与此同时，在注入数据上训练的网络在此类及相关任务上表现显著更好。数据集、代码和训练好的模型均可获取。我们还分享了 300,000 个提取的纹理和 SVBRDF/PBR 材料，以促进未来数据集的生成。
引用
@article{arxiv.2403.03309,
title = {Learning Zero-Shot Material States Segmentation, by Implanting Natural Image Patterns in Synthetic Data},
author = {Sagi Eppel and Jolina Li and Manuel Drehwald and Alan Aspuru-Guzik},
journal= {arXiv preprint arXiv:2403.03309},
year = {2025}
}