Uni-Hand：以 egocentric 视角进行通用手部运动预测

预测人类手部在 egocentric 视角中的运动对于增强现实和人机策略迁移等应用至关重要。最近开发了几种手轨迹预测（Hand Trajectory Prediction, HTP）方法，以生成未来可能的手部关键点，但仍存在预测目标不足、固有模态间的差距、手部和头部运动的 entanglement 以及在下游任务中验证不足等问题。为此，我们提出了一个考虑多模态输入、多维度和多目标预测模式以及面向下游应用的多任务功能的通用手部运动预测框架。我们通过视觉-语言融合、全局上下文整合和任务感知文本嵌入注入等方法，将多种模态信息融合统一，以在 2D 和 3D 空间中预测手部关键点。提出了一种新颖的双分支扩散模型，同时预测人类头部和手部运动，捕捉其在 egocentric 视觉中的运动协同性。通过引入目标指示器，预测模型可以预测手腕或手指的特定关节点关键点，而不仅仅是广泛研究的手部中心点。此外，我们使 Uni-Hand 能够额外预测手部-物体交互状态（接触/分离），以更好地支持下游任务。作为首个在文献中引入下游任务评估的工作，我们构建了新的基准数据集，以评估手部运动预测算法的实际应用前景。多个公开数据集和我们新提出的基准实验结果表明，Uni-Hand 在多维度和多目标手部运动预测中实现了最好的性能。广泛的下游任务验证也表明，其在人机策略迁移中具有惊人的效果，可用于机器人操作，以及有效提升动作预测/识别的特征。