通过探索二部图标签的细粒度图像分类
计算机视觉与模式识别
2015-12-11 v2
摘要
给定一张食物图像，细粒度物体识别引擎能否判断该食物属于“哪家餐厅的哪道菜”？这种超细粒度图像识别是许多应用（如以图搜图）的关键，但极具挑战性，因为它需要在训练数据稀缺的情况下辨别类间细微差异。幸运的是，超细粒度自然带来了物体类别间丰富的关联关系。本文提出一种新方法，通过二部图标签（BGL）来利用这些丰富关系。我们展示了如何在整体卷积神经网络中对 BGL 建模，并且所得系统可通过反向传播优化。我们还表明，得益于二部结构，其在推理时计算高效。为便于研究，我们构建了一个新的食物基准数据集，包含从 6 家餐厅收集共计 975 份菜单的 37,885 张食物图像。在该新食物数据集及另外三个数据集上的实验结果表明，BGL 在细粒度物体识别上超越了以往工作。在线演示见 http://www.f-zhou.com/fg_demo/。
引用
@article{arxiv.1512.02665,
title = {Fine-grained Image Classification by Exploring Bipartite-Graph Labels},
author = {Feng Zhou and Yuanqing Lin},
journal= {arXiv preprint arXiv:1512.02665},
year = {2015}
}