TR3D：迈向实时室内 3D 物体检测
计算机视觉与模式识别
2023-12-06 v3
摘要
最近，稀疏 3D 卷积改变了 3D 物体检测。3D CNN 的性能与基于投票的方法相当，且内存效率高，能更好地扩展到大型场景。然而，仍有改进空间。通过有意识的、面向实践的问题解决方法，我们分析了此类方法的性能并定位了其弱点。逐一应用修改以解决所发现的问题，最终我们得到了 TR3D：一个端到端训练的快速全卷积 3D 物体检测模型，在标准基准 ScanNet v2、SUN RGB-D 和 S3DIS 上取得了 SOTA 结果。此外，为了同时利用点云和 RGB 输入，我们引入了 2D 和 3D 特征的早期融合。我们采用融合模块使传统的 3D 物体检测方法多模态化，并展示了显著的性能提升。带有早期特征融合的模型（我们称之为 TR3D+FF）在 SUN RGB-D 数据集上超越了现有的 3D 物体检测方法。总体而言，TR3D 和 TR3D+FF 模型不仅准确，而且轻量、内存高效且速度快，从而在迈向实时 3D 物体检测的道路上树立了又一个里程碑。代码可在 https://github.com/SamsungLabs/tr3d 获取。
引用
@article{arxiv.2302.02858,
title = {TR3D: Towards Real-Time Indoor 3D Object Detection},
author = {Danila Rukhovich and Anna Vorontsova and Anton Konushin},
journal= {arXiv preprint arXiv:2302.02858},
year = {2023}
}