从图像中识别材料属性

人类依赖构成物体的材料属性来指导与其交互。例如，抓握光滑材料需谨慎，而柔软性是床上织物所用材料的理想属性。即便这些属性并非视觉性的（如柔软性是物理属性），我们仍可能从视觉上推断其存在。我们称此类材料属性为视觉材料属性。在图像中识别这些属性可为通用场景理解与材料识别提供有价值信息。与知名的物体与场景属性不同，视觉材料属性是具有无固定形状或空间范围的局部属性。我们表明，给定一组标注了已知材料属性的图像，我们可从小局部图像块准确识别这些属性。然而，以一致方式大规模获取此类标注具挑战性。为此，我们引入一种方法，通过询问比较图像块对的简单是非问题来探查人类对材料的视觉感知。这提供了充分弱监督以构建一组属性及关联分类器，其虽未命名，却发挥与我们用以描述材料的具名属性相同的作用。此举使我们无需对固定具名属性集进行详尽人工标注即可识别视觉材料属性。此外，我们展示该方法可集成于材料分类 CNN 的端到端学习中，以同时识别材料并发现其视觉属性。实验结果表明，无论具名或自动发现的视觉材料属性，均为已知材料类别本身提供有用中间表示，并为识别先前未见类别时的迁移学习奠定基础。