日常图像中双手 3D 手部运动与关节运动预测
计算机视觉与模式识别
2025-10-08 v1 人工智能
机器学习
摘要
我们研究了从单张日常图像中预测双手 3D 手部运动与关节运动的问题。为了解决多样化场景中 3D 手部标注缺失的问题，我们设计了一个标注流水线，包含一个扩散模型将 2D 手部关键点序列提升为 4D 手部运动。对于预测模型，我们采用扩散损失来考虑手部运动分布的多模态性。在六个数据集上的广泛实验表明，在多样化数据上训练并使用插补标签（提升 14%）以及提升模型（提升 42%）和预测模型（提升 16.4%）的有效性，优于最佳基线，尤其是在日常图像上的零样本泛化方面。
引用
@article{arxiv.2510.06145,
title = {Bimanual 3D Hand Motion and Articulation Forecasting in Everyday Images},
author = {Aditya Prakash and David Forsyth and Saurabh Gupta},
journal= {arXiv preprint arXiv:2510.06145},
year = {2025}
}
备注
Project page: https://ap229997.github.io/projects/forehand4d