学习局部模式模块化以从未见类别重建点云

从单张 2D 图像重建未见类别的 3D 点云是一项具有挑战性的任务。当前方法没有使用以物体为中心的坐标系，而是将已见类别中学习到的全局先验泛化，在以观察者为中心的坐标系中从未见类别重建 3D 形状。然而，重建精度和可解释性仍有待提高。为了解决这个问题，我们引入了学习局部模式模块化来重建未见类别的 3D 形状，该方法同时实现了良好的泛化能力和高重建精度。我们的核心思想是学习一种与类别无关且易于在以物体为中心的坐标系中泛化的局部先验。具体而言，局部先验是通过在已见类别中学习和定制局部模式模块化的过程获得的。在此过程中，我们首先在局部区域学习一组模式，作为在以物体为中心的坐标系中表示跨不同类别形状上任意区域的基础。然后，我们使用学习到的局部模式对初始重建形状上的每个区域进行模块化。在此基础上，我们通过细化重建细节，利用输入图像定制局部模式模块化。我们的方法能够在以物体为中心的坐标系中从未见类别重建高保真点云，而无需大量模式或任何额外信息（如分割监督或相机位姿）。在广泛使用的基准测试下的实验结果表明，我们的方法在未见类别形状上实现了 SOTA 的重建精度。代码可在 https://github.com/chenchao15/Unseen 获取。