NU-MCC：具有邻域解码器与排斥型无符号距离函数的多视图压缩编码
计算机视觉与模式识别
2023-11-22 v2
摘要
从单视图RGB-D输入进行3D重建已取得显著进展。MCC是该领域当前最先进的方法，其通过结合视觉Transformer与大规模训练取得了前所未有的成功。然而，我们识别出MCC的两个关键局限：1）Transformer解码器在处理大量查询点时效率低下；2）3D表示难以恢复高保真细节。本文提出一种称为NU-MCC的新方法以解决这些局限。NU-MCC包含两项关键创新：邻域解码器与排斥型无符号距离函数（Repulsive UDF）。首先，我们的邻域解码器引入中心点作为输入视觉特征的高效代理，使每个查询点仅关注一个小邻域。该设计不仅带来更快的推理速度，还能利用更精细尺度的视觉特征以改进3D纹理恢复。其次，我们的Repulsive UDF是MCC中所用占据场的新替代方案，显著提升了3D物体重建质量。与结果存在孔洞的标准UDF相比，我们提出的Repulsive UDF可实现更完整的表面重建。实验结果表明，NU-MCC能够学习到强3D表示，显著推进单视图3D重建的先进水平。特别地，在CO3D-v2数据集上，其F1分数超越MCC达9.7%，且运行速度快5倍以上。
引用
@article{arxiv.2307.09112,
title = {NU-MCC: Multiview Compressive Coding with Neighborhood Decoder and Repulsive UDF},
author = {Stefan Lionar and Xiangyu Xu and Min Lin and Gim Hee Lee},
journal= {arXiv preprint arXiv:2307.09112},
year = {2023}
}
备注
NeurIPS 2023. Project page: https://numcc.github.io/ Code: https://github.com/sail-sg/numcc