将输入带入共享域以实现野外部署下 3D 交互双手恢复

尽管近期取得进展，现有 3D 交互双手恢复方法主要在动作捕捉（MoCap）环境下展示结果，而非野外（ITW）环境。这是因为即便对 2D 数据而言，在野外采集 3D 交互双手数据也极其困难。我们提出 InterWild，其以有限量的 ITW 2D/3D 交互双手数据，将 MoCap 与 ITW 样本带入共享域，以实现鲁棒的野外部署下 3D 交互双手恢复。3D 交互双手恢复包含两个子问题：1）每只手的 3D 恢复；2）两手间 3D 相对平移恢复。对第一子问题，我们将 MoCap 与 ITW 样本带入共享 2D 尺度空间。尽管 ITW 数据集提供有限量的 2D/3D 交互双手，其包含大规模 2D 单手数据。受此启发，无论两手是否交互，我们以单手图像作为第一子问题输入。从而 MoCap 数据集的交互双手被带入 ITW 数据集单手的 2D 尺度空间。对第二子问题，我们将 MoCap 与 ITW 样本带入共享外观不变空间。不同于第一子问题，因 3D 平移的模糊性，ITW 数据集的 2D 标签对第二子问题无帮助。因此，我们不依赖 ITW 样本，而是仅以无图像的几何特征作为第二子问题输入，从而放大 MoCap 样本的泛化性。由于几何特征对外观不变，MoCap 与 ITW 样本不受两数据集间巨大外观差距影响。代码已公开于 https://github.com/facebookresearch/InterWild。