面向室内环境的高效多任务RGB-D场景分析
计算机视觉与模式识别
2023-09-26 v1 机器学习
机器人学
摘要
语义场景理解对于在各种环境中行动的移动智能体至关重要。尽管语义分割已提供大量信息，但关于单个物体及整体场景的细节仍然缺失，而许多现实应用都需要这些信息。然而，分别求解多个任务代价高昂，且在移动平台有限的计算与电池能力下无法实时完成。本文提出一种高效的RGB-D场景分析多任务方法（EMSANet），可同时执行语义与实例分割（全景分割）、实例朝向估计以及场景分类。我们表明，所有任务均可使用单一神经网络在移动平台上实时完成且不损失性能——相反，各任务能够相互受益。为评估我们的多任务方法，我们扩展了常用RGB-D室内数据集NYUv2和SUNRGB-D的标注以用于实例分割与朝向估计。据我们所知，我们首个在NYUv2和SUNRGB-D上给出了如此全面的室内场景分析多任务设置的结果。
引用
@article{arxiv.2207.04526,
title = {Efficient Multi-Task RGB-D Scene Analysis for Indoor Environments},
author = {Daniel Seichter and Söhnke Benedikt Fischedick and Mona Köhler and Horst-Michael Groß},
journal= {arXiv preprint arXiv:2207.04526},
year = {2023}
}
备注
To be published in IEEE International Joint Conference on Neural Networks (IJCNN) 2022