基于感知先验的全景辐射场原位分割用于3D场景理解
计算机视觉与模式识别
2024-10-08 v1
摘要
准确的3D场景表示和全景理解对于虚拟现实、机器人和自动驾驶等应用至关重要。然而，现有方法仍面临诸多挑战，包括精确的2D到3D映射、处理复杂场景特征（如边界模糊和尺度变化）以及减轻全景伪标签中的噪声。本文提出了一种新颖的感知先验导引的3D场景表示和全景理解方法，该方法将全景理解重新定义为2D语义与实例识别之间的线性分配问题。通过预训练的2D全景分割模型获得的感知信息作为先验指导，实现了外观、几何和全景理解在神经辐射场内学习过程的同步。开发了用于提高室内外场景通用性的隐式场景表示和理解模型，通过在重新参数化域蒸馏框架中扩展尺度编码的级联网格来实现。该模型有效管理复杂场景属性，为各种场景生成3D一致的场景表示和全景理解结果。在包括合成场景和真实场景等具有挑战性条件下的实验和消融研究表明，所提方法在提升3D场景表示和全景分割精度方面具有有效性。
引用
@article{arxiv.2410.04529,
title = {In-Place Panoptic Radiance Field Segmentation with Perceptual Prior for 3D Scene Understanding},
author = {Shenghao Li},
journal= {arXiv preprint arXiv:2410.04529},
year = {2024}
}