CN-RMA：结合光线行进聚合的联合网络用于多视图图像三维室内物体检测
计算机视觉与模式识别
2024-04-10 v2
摘要
本文介绍了 CN-RMA，这是一种从多视图图像进行三维室内物体检测的新方法。我们将关键挑战观察为在没有显式几何提供遮挡信息的情况下，图像与三维对应关系的模糊性。为解决这一问题，CN-RMA 利用了三维重建网络与三维物体检测网络的协同作用，其中重建网络提供粗略的截断符号距离函数 (TSDF)，并以端到端的方式引导图像特征正确地投票到三维空间。具体而言，我们通过光线行进 (ray marching) 为每条光线的采样点关联权重，代表图像中像素对相应三维位置的贡献。这些权重由预测的符号距离确定，使得图像特征仅投票到重建表面附近的区域。我们的方法在多视图图像三维物体检测中取得了最先进的性能，在 ScanNet 和 ARKitScenes 数据集上的 [email protected] 和 [email protected] 指标上得到了验证。代码和模型已发布在 https://github.com/SerCharles/CN-RMA。
引用
@article{arxiv.2403.04198,
title = {CN-RMA: Combined Network with Ray Marching Aggregation for 3D Indoors Object Detection from Multi-view Images},
author = {Guanlin Shen and Jingwei Huang and Zhihua Hu and Bin Wang},
journal= {arXiv preprint arXiv:2403.04198},
year = {2024}
}
备注
CVPR2024 poster paper, 8 pages of main part, and 4 pages of supplementary material