轻量级融合 3D 特征以改进 2D 图像分割
计算机视觉与模式识别
2023-07-11 v2
摘要
场景理解在过去几年取得了巨大进展，因为数据采集系统现在提供越来越多不同模态（点云、深度、RGB……）的数据。然而，这一改进带来了巨大的计算资源与数据标注需求代价。为了联合分析几何信息与图像，许多方法依赖 2D 损失与 3D 损失，不仅需要 2D 逐像素标注，还需要 3D 逐点标注。然而，获取 3D 真值具有挑战性、耗时且易出错。本文中，我们展示了图像分割可从 3D 几何信息中受益而无需 3D 真值，方法是以端到端方式仅使用 2D 分割损失联合训练几何特征提取与 2D 分割网络。我们的方法首先通过使用轻量级 3D 神经网络从提供的点云中直接提取 3D 特征图。将 3D 特征图与 RGB 图像合并后，用作经典图像分割网络的输入。我们的方法可应用于许多 2D 分割网络，仅以边际的网络权重增加和轻量的输入数据需求（无需 3D 真值）显著提升其性能。
引用
@article{arxiv.2212.08334,
title = {Lightweight integration of 3D features to improve 2D image segmentation},
author = {Olivier Pradelle and Raphaelle Chaine and David Wendland and Julie Digne},
journal= {arXiv preprint arXiv:2212.08334},
year = {2023}
}