基于Materials in Context数据库的自然场景材质识别
计算机视觉与模式识别
2015-04-15 v2
摘要
在真实世界图像中识别材质是一项具有挑战性的任务。真实世界的材质具有丰富的表面纹理、几何形状、光照条件和杂乱背景，这些因素共同使得该问题变得特别困难。在本文中，我们引入了一个新的大规模开放数据集——Materials in Context Database (MINC)，并将此数据集与深度学习相结合，以实现自然场景图像的材质识别与分割。MINC的规模比以往的材质数据库大一个数量级，同时在其23个类别中更加多样化和采样充分。利用MINC，我们训练了卷积神经网络（CNN）用于两项任务：基于图像块的材质分类，以及全图像中的同步材质识别与分割。对于MINC上的基于图像块的分类，我们发现性能最佳的CNN架构可以达到85.2%的平均类别准确率。我们将这些训练好的CNN分类器转换为一个高效的完全卷积框架，并结合全连接条件随机场（CRF）来预测图像中每个像素的材质，达到了73.1%的平均类别准确率。我们的实验表明，拥有像MINC这样大规模、采样充分的数据集对于真实世界的材质识别与分割至关重要。
引用
@article{arxiv.1412.0623,
title = {Material Recognition in the Wild with the Materials in Context Database},
author = {Sean Bell and Paul Upchurch and Noah Snavely and Kavita Bala},
journal= {arXiv preprint arXiv:1412.0623},
year = {2015}
}
备注
CVPR 2015. Sean Bell and Paul Upchurch contributed equally