基于事件的连续时间人体运动场
计算机视觉与模式识别
2024-12-03 v1
摘要
本文解决从事件流中估计连续时间人体运动场的挑战。现有人体网格恢复(HMR)方法主要依赖帧基方法，由于时间分辨率有限和运动模糊，容易出现混叠和不准确。本文通过利用循环式前馈神经网络直接从事件预测连续时间的人体运动场，在可能的人体运动潜在空间中进行预测。以往的基于事件的方法依赖于在高帧率下进行计算密集的优化，随着时间分辨率的提升变得难以承受。与之相比，我们首次将传统的离散时间预测替换为表示为时隐函数的连续人体运动场，使其能够在任意时间分辨率下进行平行姿态查询。尽管事件相机具有巨大的潜力，仅有少数基准测试测试了高速人体运动估计的极限。我们引入Beam-splitter Event Agile Human Motion Dataset——一个硬件同步的高速人体数据集以填补这一空白。在新数据上，我们的方法相对于以往基于事件的人体方法将关节误差改进23.8%，同时将计算时间缩短69%。
引用
@article{arxiv.2412.01747,
title = {Continuous-Time Human Motion Field from Events},
author = {Ziyun Wang and Ruijun Zhang and Zi-Yan Liu and Yufu Wang and Kostas Daniilidis},
journal= {arXiv preprint arXiv:2412.01747},
year = {2024}
}