多视角卫星影像的材质分割

材质识别方法利用图像上下文与局部线索进行逐像素分类。在许多情况下，仅有一幅图像可用于材质预测。在诸如多视角立体等应用中常规获取的图像序列，能够对底层反射函数进行采样，从而揭示像素级材质属性。我们利用由 SpaceNet Challenge 卫星图像数据集生成的用于建筑材质分割与场景材质分割的两个数据集，研究多视角材质分割。本文中，我们引入 \textit{reflectance residual encoding}（反射残差编码）来探究多角度反射信息的影响，其捕获了数据集中存在的多角度与多光谱信息。残差通过将稀疏采样的反射函数与预定义的密集采样反射函数字典作差得到。我们提出的反射残差特征在融入逐像素与语义分割架构后，提升了材质分割性能。在测试时，各独立分割的预测通过 softmax 融合进行组合，并经建筑片段投票精炼。我们利用所提材质分割流程展示了鲁棒且准确的逐像素分割结果。