局部材料识别与大规模感知属性发现的整合

材料属性已被证明为识别材料提供了一种有判别力的中间表示，尤其是对于从局部材料外观（即不考虑物体和场景上下文）进行识别这一具有挑战性的任务。然而过去，材料属性是在类别识别之前被单独识别的。相反，关于材料感知的神经科学研究以及关于物体和场所识别的计算机视觉研究表明，属性是在类别识别过程中作为副产品产生的。材料属性与类别识别是否也是如此？在本文中，我们引入一种新颖的材料类别识别网络架构，以表明感知属性实际上可以在局部材料识别框架内自动被发现。这种新颖的材料-属性-类别卷积神经网络（MAC-CNN）利用编码人类材料感知的辅助损失函数，从端到端训练的材料类别识别网络的中间池化层中产生感知材料属性。为了训练该模型，我们引入了一个新颖的大规模局部材料外观数据库，该数据库按规范的材料类别分类法组织，并采用精细的图像块提取以避免不想要的物体和场景上下文。我们展示了所发现的属性通过布尔代数与具有语义意义的视觉材料特征良好对应，并且能够在仅给定少量样本的情况下识别先前未见的材料类别。这些结果对于在其他识别任务中如何学习具有感知意义的属性具有深远影响。