全点编码用于三维点云局部特征聚合
计算机视觉与模式识别
2023-03-09 v1
摘要
点云处理方法通过聚合利用局部点特征与全局上下文，但并未显式建模局部与全局特征间的内在关联。为解决该问题，我们提出适用于卷积与transformer架构的全点编码。具体而言，我们提出全点卷积（FPConv）与全点Transformer（FPTransformer）架构。其核心思想是从局部与全局几何连接中自适应学习权重，其中连接分别通过局部与全局相关函数建立。FPConv与FPTransformer同时建模局部与全局几何关系及其内在关联，展现出强泛化能力与高性能。FPConv被纳入经典分层网络架构以实现局部与全局形状感知学习。在FPTransformer中，我们在自注意力中引入全点位置编码，分层编码各点在全局与局部感受野中的位置。我们还提出一个考虑局部形状与全局上下文的形状感知下采样模块。在基准数据集上与现有方法的实验对比显示了FPConv与FPTransformer在语义分割、目标检测、分类与法向量估计任务上的有效性。特别地，我们在S3DIS 6-fold上取得76% mIoU、在S3DIS Area5上取得72.2%的SOTA语义分割结果。
引用
@article{arxiv.2303.04458,
title = {Full Point Encoding for Local Feature Aggregation in 3D Point Clouds},
author = {Yong He and Hongshan Yu and Zhengeng Yang and Xiaoyan Liu and Wei Sun and Ajmal Mian},
journal= {arXiv preprint arXiv:2303.04458},
year = {2023}
}
备注
15