HandDGP：基于可微全局定位的相机空间手部网格预测

从单张 RGB 图像预测相机空间手部网格是实现 3D 虚拟和增强世界中真实手部交互的关键任务。以往的工作通常将该任务划分为两个阶段：首先对手部裁剪图像进行预测，得到相对坐标下的网格，然后在独立的后续阶段将这些预测提升到相机空间，常常导致宝贵的上下文和尺度信息的丢失。为防止这些线索的丢失，我们提出将这两个阶段统一为一个端到端解决方案，以解决 2D-3D 对应问题。该解决方案通过一种新的可微全局定位模块，使从相机空间输出能够反向传播到网络的其余部分。我们还引入了图像校正步骤，将训练数据集和输入图像校正得仿佛是由同一摄像机获取的，从而有助于缓解该问题固有的尺度-深度歧义。我们在多个基准数据集上对比评估了本框架的有效性。