利用计算机生成图像理解深度特征
计算机视觉与模式识别
2015-06-04 v1
摘要
我们提出一种方法，用于分析卷积神经网络（CNN）生成的特征相对于自然图像中出现的场景因素的变化。此类因素可能包括物体风格、3D视角、颜色以及场景光照配置。我们的方法通过使用大型3D CAD模型数据库进行渲染来控制这些场景因素，从而分析对应于不同场景因素的CNN特征响应。将渲染图像输入训练好的CNN，并针对输入场景因素研究不同层的响应。我们基于输入场景因素的知识对响应进行分解，并分析所得分量。特别地，我们量化了它们在CNN响应中的相对重要性，并使用主成分分析将其可视化。我们展示了在三个大型图像数据集上训练的CNN（AlexNet、Places和Oxford VGG）上我们研究的定性和定量结果。我们观察到不同网络及CNN层对于不同场景因素和物体类别存在重要差异。最后，我们证明了基于计算机生成图像的分析可迁移到自然图像的网络表示上。
引用
@article{arxiv.1506.01151,
title = {Understanding deep features with computer-generated imagery},
author = {Mathieu Aubry and Bryan Russell},
journal= {arXiv preprint arXiv:1506.01151},
year = {2015}
}