POEM：在嵌入多视图立体中的点上重建手部
计算机视觉与模式识别
2023-05-25 v2
摘要
使神经网络捕获三维几何感知特征在多视图视觉任务中至关重要。先前方法通常将多视图立体的三维信息编码进二维特征中。相反，我们提出一种称为 POEM 的新方法，其直接作用于嵌入多视图立体中的三维点（3D POints Embedded in Multi-view stereo）以重建其中的手部网格。点是三维信息的自然形式，也是跨视图融合特征的理想媒介，因其在不同视图上具有不同投影。我们的方法基于一个简单而有效的思想：复杂的手部三维网格可由一组三维点表示，这些点（1）嵌入于多视图立体中，（2）携带来自多视图图像的特征，且（3）环绕手部。为利用点的能力，我们设计两种操作：基于点的特征融合与跨集点注意力机制。在三个具挑战性的多视图数据集上的评估表明，POEM 在手网格重建上优于当前最优方法。代码与模型已发布于 https://github.com/lixiny/POEM 供研究使用。
引用
@article{arxiv.2304.04038,
title = {POEM: Reconstructing Hand in a Point Embedded Multi-view Stereo},
author = {Lixin Yang and Jian Xu and Licheng Zhong and Xinyu Zhan and Zhicheng Wang and Kejian Wu and Cewu Lu},
journal= {arXiv preprint arXiv:2304.04038},
year = {2023}
}
备注
Accepted by CVPR 2023. (v2 fix typos)