基于EgoMusic和Skeleton Mamba的ego视角人体舞蹈动作估计

估计人体舞蹈动作是一项具有多种工业应用挑战性的任务。最近，许多研究致力于使用单一的egocentric视频或音乐预测人体舞蹈动作。然而，同时从egocentric视频和音乐估计人体动作的任务仍基本未被探索。本文旨在开发一种新方法，从egocentric视频和音乐预测人体舞蹈动作。在实际应用中，ego视角常常遮挡大量身体部位，导致准确的全身姿态估计具有挑战性。此外，融合音乐需要生成的头部和身体动作能够良好地与视觉和音乐输入相匹配。我们首先引入EgoAIST++，一个新的大规模数据集，组合了egocentric视角和音乐，包含超过36小时的舞蹈动作。基于扩散模型和Mamba在序列建模方面的成功，我们开发了EgoMusic运动网络，核心为能够显式捕获人体骨架结构的Skeleton Mamba。我们说明了该方法在理论上具有支持性。大量实验表明，我们的方法明显优于当前最先进的方法，并在实际世界数据上有效地泛化。