Materialistic：图像中相似材质的选取
计算机视觉与模式识别
2023-05-23 v1 图形学
机器学习
摘要
将图像分离为有意义的基本组成成分是编辑与理解图像的关键第一步。我们提出一种能够选取照片中与艺术家所选区域呈现相同材质的区域的方法。我们提出的方法对明暗 shading、镜面高光与投影具有鲁棒性，从而可在真实图像中选取。由于我们不依赖语义分割（不同的木材或金属不应被一同选中），我们将该问题表述为基于用户提供的图像位置的相似性分组问题。具体而言，我们提议利用无监督的 DINO 特征，结合所提出的 Cross-Similarity 模块与 MLP 头，以提取图像中的材质相似性。我们在新合成的影像数据集上训练模型，并予以发布。我们表明该方法能很好地泛化至真实世界图像。我们仔细分析了模型在不同材质属性与光照下的行为。此外，我们在一组 50 张真实照片的手工标注基准上对其评估。我们进一步在一系列应用上演示了我们的模型，包括材质编辑、视频内选取以及具有相似材质的物体照片检索。
引用
@article{arxiv.2305.13291,
title = {Materialistic: Selecting Similar Materials in Images},
author = {Prafull Sharma and Julien Philip and Michaël Gharbi and William T. Freeman and Fredo Durand and Valentin Deschaintre},
journal= {arXiv preprint arXiv:2305.13291},
year = {2023}
}