全局上下文中的局部外观材质识别

材质识别已被证明是一个具有挑战性的问题，因为材质类别内部和类别之间的外观差异很大。全局图像上下文，例如材质所在的位置或它构成什么物体，对于识别材质可能至关重要。然而，现有方法通过使用大感受野作为输入（即大图像块）来隐式融合材质和上下文。许多最近的材质识别方法将材质视为另一组类似物体的标签。然而，材质与物体有根本不同，因为它们没有固有的形状或定义的空间范围。忽略这一点的方法只能利用训练期间出现的有限隐式上下文。我们反而表明，纯粹从材质的局部外观进行识别，并整合单独识别的全局上下文线索（包括物体和地点），可以实现更优的密集、逐像素材质识别。我们通过端到端地训练一个全卷积材质识别网络，仅使用材质类别监督来实现这一点。我们将来自独立CNN的物体和地点估计整合到这个网络中。这种方法避免了准备不切实际的大量训练数据来覆盖材质、物体和场景的乘积空间的必要性，同时充分利用上下文线索进行密集材质识别。此外，我们对上下文粒度、空间分辨率以及引入上下文的网络层级的影响进行了详细分析。在最近引入的一个全面且多样化的材质数据库上，我们证实我们的方法以显著少于以往方法的训练数据达到了最先进的精度。