基于数据驱动的着装人体从稀疏视角三维重建

近来，数据驱动的单视角重建方法在建模三维着装人体方面取得了很大进展。然而，此类方法深受单视角输入固有的深度模糊与遮挡问题所累。在本文中，我们通过考虑一小组输入视角来解决该问题，并研究充分利用这些视角信息的最佳策略。我们提出了一种数据驱动的端到端方法，从稀疏相机视角重建着装人体的隐式三维表示。具体而言，我们引入了三个关键组件：第一，空间一致的重建，其使用透视相机模型允许人物在输入视角中任意放置；第二，基于注意力的融合层，其学习聚合来自多个视点的视觉信息；第三，在多视角语境下编码局部三维图案的机制。在实验中，我们表明所提方法在标准数据上定量与定性均优于当前最优（state of the art）。为展示空间一致重建，我们将方法应用于动态场景。此外，我们将方法应用于多相机平台采集的真实数据，并证明我们的方法可用显著更少的视角获得与多视角立体匹配相当的结果。