动态环境下基于事件相机的高频三维舞蹈姿态估计
计算机视觉与模式识别
2023-08-08 v2 人工智能
摘要
作为全球广受喜爱的运动，舞蹈如今正融入传统及基于虚拟现实的游戏平台。这在技术中介的舞蹈空间中开辟了新机遇。这些平台主要依赖被动且连续的人体姿态估计作为输入捕获机制。现有方案主要基于 RGB 或 RGB-深度相机用于舞蹈游戏。前者因运动模糊和低灵敏度在弱光条件下表现不佳，而后者功耗过高、帧率低且工作距离有限。事件相机具有超低延迟、高能效和宽动态范围特性，是克服这些缺点的有前景方案。我们提出 YeLan，一种基于事件相机的三维高频人体姿态估计（HPE）系统，可在弱光条件和动态背景下工作。我们收集了全球首个事件相机舞蹈数据集，并开发了完全可定制的运动到事件物理感知模拟器。YeLan 在这些挑战性条件下优于基线模型，并对不同类型服装、背景运动、视角、遮挡和光照波动表现出鲁棒性。
引用
@article{arxiv.2301.06648,
title = {Neuromorphic High-Frequency 3D Dancing Pose Estimation in Dynamic Environment},
author = {Zhongyang Zhang and Kaidong Chai and Haowen Yu and Ramzi Majaj and Francesca Walsh and Edward Wang and Upal Mahbub and Hava Siegelmann and Donghyun Kim and Tauhidur Rahman},
journal= {arXiv preprint arXiv:2301.06648},
year = {2023}
}