TempCLR：通过时间相干对比学习重建手部
计算机视觉与模式识别
2022-09-02 v1
摘要
我们提出 TempCLR，一种用于 3D 手部重建结构化回归任务的新时间相干对比学习方法。与以往用于手部姿态估计的时间对比方法不同，我们的框架在其增强方案中考虑时间一致性，并考虑手部姿态沿时间方向的差异。我们的数据驱动方法利用无标签视频和标准 CNN，不依赖合成数据、伪标签或专用架构。我们的方法在 HO-3D 和 FreiHAND 数据集上分别以 PA-V2V 指标将全监督手部重建方法的性能提升 15.9% 和 7.6%，从而确立了新的最先进性能。最后，我们证明与先前的最先进方法相比，我们的方法随时间产生更平滑的手部重建，并对严重遮挡更具鲁棒性，这一点我们通过定量与定性结果展示。我们的代码与模型将发布于 https://eth-ait.github.io/tempclr。
引用
@article{arxiv.2209.00489,
title = {TempCLR: Reconstructing Hands via Time-Coherent Contrastive Learning},
author = {Andrea Ziani and Zicong Fan and Muhammed Kocabas and Sammy Christen and Otmar Hilliges},
journal= {arXiv preprint arXiv:2209.00489},
year = {2022}
}