Retro-FPN:用于点云语义分割的回溯式特征金字塔网络
计算机视觉与模式识别
2023-08-21 v1
摘要
从分层特征金字塔中学习逐点语义特征对于点云语义分割至关重要。然而,以往多数方法受困于模糊的区域特征或未能有效细化逐点特征,导致信息损失与语义辨识模糊。为此,我们提出 Retro-FPN,将逐点特征预测建模为显式且回溯式的细化过程,其遍历所有金字塔层以为每一点显式提取语义特征。其核心创新在于一个 retro-transformer,用于从上一层总结语义上下文并据此细化当前阶段的特征。如此,每一点的分类取决于其局部语义模式。具体而言,retro-transformer 由局部交叉注意力块与语义门单元组成。交叉注意力用于从上一层回溯式总结语义模式,门单元则审慎地融合所总结的上下文并细化当前语义特征。Retro-FPN 是一种可插拔的神经网络,适用于分层解码器。通过将 Retro-FPN 与三种代表性骨干网络(包括基于点与基于体素的方法)集成,我们表明 Retro-FPN 相较最先进的骨干网络能显著提升性能。在广泛使用基准上的综合实验印证了我们设计的有效性。源代码见 https://github.com/AllenXiangX/Retro-FPN
引用
@article{arxiv.2308.09314,
title = {Retro-FPN: Retrospective Feature Pyramid Network for Point Cloud Semantic Segmentation},
author = {Peng Xiang and Xin Wen and Yu-Shen Liu and Hui Zhang and Yi Fang and Zhizhong Han},
journal= {arXiv preprint arXiv:2308.09314},
year = {2023}
}
备注
Accepted by ICCV 2023