通过目标聚焦图像融合提升三维目标检测
计算机视觉与模式识别
2022-07-22 v1
摘要
三维目标检测仅以点云作为唯一输入已取得了显著进展。然而，点云常常受限于不完整的几何结构以及语义信息的缺失，这使得检测器难以准确分类检测到的物体。在本工作中，我们关注如何有效利用来自图像的目标级信息来提升基于点的三维检测器的性能。我们提出 DeMF，一种简单而有效的方法，将图像信息融合进点特征。给定一组点特征和图像特征图，DeMF 以三维点的投影二维位置为参考自适应地聚合图像特征。我们在具有挑战性的 SUN RGB-D 数据集上评估了我们的方法，以较大幅度提升了 SOTA 结果（+2.1 [email protected] 与 [email protected]）。代码见 https://github.com/haoy945/DeMF。
引用
@article{arxiv.2207.10589,
title = {Boosting 3D Object Detection via Object-Focused Image Fusion},
author = {Hao Yang and Chen Shi and Yihong Chen and Liwei Wang},
journal= {arXiv preprint arXiv:2207.10589},
year = {2022}
}