基于原型无关场景布局的场景识别
计算机视觉与模式识别
2020-06-24 v1
摘要
利用场景图像中的空间结构是场景识别的一个关键研究方向。由于类内结构多样性大，构建和建模灵活的结构布局以适应各种图像特征是一个挑战。现有的场景识别结构建模方法要么侧重于预定义的网格，要么依赖于学习到的原型，这些方法的表示能力都有限。本文提出了一种原型无关场景布局（Prototype-agnostic Scene Layout, PaSL）构建方法，为每幅图像构建空间结构而不拘泥于任何原型。我们的PaSL能够灵活捕捉场景图像多样化的空间特征，并具有相当的泛化能力。给定一个PaSL，我们构建了布局图网络（Layout Graph Network, LGN），其中PaSL中的区域被定义为节点，区域间的两种独立关系被编码为边。LGN旨在通过图卷积将两种拓扑结构（在空间和语义相似性维度上形成）融入图像表示中。大量实验表明，我们的方法在广泛认可的MIT67和SUN397数据集上，无需多模型或多尺度融合，就取得了最先进的结果。此外，我们还在最大规模数据集之一Places365上进行了实验。结果表明，所提出的方法具有良好的泛化能力，并获得了有竞争力的性能。
引用
@article{arxiv.1909.03234,
title = {Scene Recognition with Prototype-agnostic Scene Layout},
author = {Gongwei Chen and Xinhang Song and Haitao Zeng and Shuqiang Jiang},
journal= {arXiv preprint arXiv:1909.03234},
year = {2020}
}