三维全身人体运动的富有表现力预测
计算机视觉与模式识别
2024-04-05 v2
摘要
人体运动预测旨在估计一段时间内的未来人类行为，是许多现实世界应用中的一项基础任务。然而，现有工作通常集中于预测人体主要关节，而未考虑人手的精细动作。在实际应用中，手势在人类与真实世界的交流中起着重要作用，并表达了人类的主要意图。在本工作中，我们首次提出了全身人体姿态预测任务，该任务联合预测未来的身体与手部活动。相应地，我们提出了一种新颖的编码-对齐-交互（EAI）框架，旨在协同预测粗粒度（身体关节）与细粒度（手势）活动，从而实现对三维全身人体运动的富有表现力且相互促进的预测。具体而言，我们的模型包含两个关键组成部分：跨上下文对齐（XCA）和跨上下文交互（XCI）。考虑到全身内部的异构信息，XCA 旨在对齐各种人体组件的潜在特征，而 XCI 则侧重于有效捕捉人体组件间的上下文交互。我们在一个新引入的大规模基准上进行了大量实验，并取得了 SOTA 性能。代码已公开用于研究目的：https://github.com/Dingpx/EAI。
引用
@article{arxiv.2312.11972,
title = {Expressive Forecasting of 3D Whole-body Human Motions},
author = {Pengxiang Ding and Qiongjie Cui and Min Zhang and Mengyuan Liu and Haofan Wang and Donglin Wang},
journal= {arXiv preprint arXiv:2312.11972},
year = {2024}
}
备注
Accepted by AAAI24