面向细粒度图像识别的知识嵌入表示学习
计算机视觉与模式识别
2018-07-03 v1
摘要
人类可以借助日常或专业积累的大量知识自然地深度理解图像。例如，要实现细粒度图像识别（如对数百个鸟类下级类别进行分类）通常需要包含类别标签和部位级属性的综合视觉概念组织。在这项工作中，我们研究如何将丰富的专业知识与深度神经网络架构相统一，并提出一种知识嵌入表示学习（Knowledge-Embedded Representation Learning, KERL）框架来处理细粒度图像识别问题。具体而言，我们以知识图谱的形式组织丰富的视觉概念，并采用门控图神经网络通过图传播节点消息以生成知识表示。通过引入一种新颖的门控机制，我们的 KERL 框架将此种知识表示整合进判别性图像特征学习中，即隐式地将特定属性与特征图相关联。与现有的细粒度图像分类方法相比，我们的 KERL 框架具有若干吸引人的特性：i）嵌入的高层知识增强了特征表示，从而有助于区分下级类别间的细微差异。ii）我们的框架可以学习具有有意义配置的特征图，其中高亮区域与知识图谱的节点（特定属性）精细对应。在广泛使用的 Caltech-UCSD 鸟类数据集上的大量实验证明了我们的 KERL 框架相对于现有最先进方法的优越性。
引用
@article{arxiv.1807.00505,
title = {Knowledge-Embedded Representation Learning for Fine-Grained Image Recognition},
author = {Tianshui Chen and Liang Lin and Riquan Chen and Yang Wu and Xiaonan Luo},
journal= {arXiv preprint arXiv:1807.00505},
year = {2018}
}
备注
Accepted at IJCAI 2018. The first work that introduces high-level knowledge to enhance representation learning for fine-grained image classification