利用基于物体和基于分割的语义特征进行深度学习室内场景分类
计算机视觉与模式识别
2024-04-12 v1
摘要
室内场景通常以分散的物体及其关系为特征，这使得室内场景分类任务成为一项具有挑战性的计算机视觉任务。尽管近年来基于深度学习的方法在分类任务中取得了显著的性能提升，但类别间模糊性和类别内差异等局限性一直制约着其性能。为了克服这些问题，收集语义信息已被证明是获得更完整、更具判别力的室内场景特征表示的一个有前景的信息来源。因此，本文描述的工作同时使用了来自物体检测和语义分割技术的语义信息。物体检测技术提供物体的二维位置，从而可以获得物体间的空间分布；而语义分割技术提供像素级信息，从而可以在像素级别获得分割类别的空间分布和形状相关特征。因此，我们提出了一种新颖的方法，该方法使用语义分割掩膜来提供基于 Hu 矩的分割类别形状表征，称为基于分割的 Hu 矩特征 (SHMFs)。此外，还提出了一个名为 GOSFApp 的三主分支网络，该网络利用了基于深度学习的全局特征、基于物体的特征和基于语义分割的特征。GOSFApp 在两个室内场景基准数据集：SUN RGB-D 和 NYU Depth V2 上进行了评估，据我们所知，在这两个数据集上都取得了最先进的结果，这证明了所提出方法的有效性。
引用
@article{arxiv.2404.07739,
title = {Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification},
author = {Ricardo Pereira and Luís Garrote and Tiago Barros and Ana Lopes and Urbano J. Nunes},
journal= {arXiv preprint arXiv:2404.07739},
year = {2024}
}
备注
This preprint was submitted at IEEE Transactions on Image Processing