基于物理渲染与对比学习对任意地点任意材料的单次识别

对材料及其状态的视觉识别对于理解世界大多数方面至关重要，从判断食物是否煮熟、金属是否生锈，到化学反应是否发生。然而，当前的图像识别方法局限于特定的类别和属性，无法处理世界中数量庞大的材料状态。为此，我们提出 MatSim：首个用于基于计算机视觉识别材料与纹理之间相似性与转变的数据集和基准，侧重于利用一个或少数几个样本在任何条件下识别任意材料。该数据集包含合成图像与自然图像。合成图像由计算机图形艺术家生成的巨量纹理、物体和环境集合渲染而成。我们使用材料之间的混合与渐变过渡，使系统能够学习状态间平滑过渡的情况（如逐渐煮熟的食物）。我们还渲染了材料位于透明容器内的图像，以支持饮料和化学实验室用例。我们利用该数据集训练一个孪生网络，用于在不同物体、混合物和环境中识别相同材料。该网络生成的描述符可用于通过单张图像识别材料的状态及其子类。我们还提出了首个少样本材料识别基准，其图像涵盖广泛领域，包括食物与饮料状态、地面类型以及许多其他用例。我们表明，在 MatSim 合成数据集上训练的网络在基准上优于 Clip 等最先进模型，并在其他无监督材料分类任务上取得了良好结果。