PointSee：图像增强点云
计算机视觉与模式识别
2022-11-04 v1
摘要
融合多模态信息用于三维目标检测（3OD）是一种趋势。然而，在设计多模态融合网络时，低轻量化程度、即插即用灵活性差以及特征对齐不准确等挑战性问题仍未被很好解决。我们提出 PointSee，一种轻量、灵活且高效的多模态融合方案，通过由场景图像组装的 LiDAR 点云的语义特征增强，来赋能各类 3OD 网络。超越现有 3OD 思路，PointSee 由一个隐藏模块（HM）和一个可见模块（SM）组成：HM 以离线融合方式利用 2D 图像信息修饰 LiDAR 点云，从而对现有 3OD 网络改动极小甚至无需改动；SM 通过获取逐点代表性语义特征进一步丰富 LiDAR 点云，从而提升现有 3OD 网络的性能。除 PointSee 的新架构外，我们提出一种简单而高效的训练策略，以缓解 2D 目标检测网络潜在的不准确回归。在流行的室外/室内基准上的大量实验表明，我们的 PointSee 相较二十二种前沿方法取得了数值上的提升。
引用
@article{arxiv.2211.01664,
title = {PointSee: Image Enhances Point Cloud},
author = {Lipeng Gu and Xuefeng Yan and Peng Cui and Lina Gong and Haoran Xie and Fu Lee Wang and Jin Qin and Mingqiang Wei},
journal= {arXiv preprint arXiv:2211.01664},
year = {2022}
}