用于基于事件的人体姿态估计的时间密集连接循环网络
计算机视觉与模式识别
2023-04-07 v3
摘要
事件相机是一种新兴的受生物启发的视觉传感器，可异步报告逐像素亮度变化。其具有高动态范围、高速响应和低功耗预算的显著优势，使其能够在非受控环境中最佳地捕捉局部运动。这促使我们挖掘事件相机在人体姿态估计中的潜力，因为基于事件相机的姿态估计鲜有探索。然而，由于从传统基于帧的相机范式发生转变，时间间隔内的事件信号包含的信息十分有限，因为事件相机只能捕捉运动身体部位而忽略静态身体部位，导致部分部位在该时间间隔内不完整甚至消失。本文提出一种新颖的密集连接循环架构以解决信息不完整问题。通过该循环架构，我们不仅能显式建模时间步之间的顺序几何一致性，还能建模非顺序几何一致性，从而从先前帧累积信息以恢复完整人体，实现从事件数据中稳定而准确的人体姿态估计。此外，为更好地评估我们的模型，我们收集了一个大规模多模态基于事件的带人体姿态标注的数据集，据我们所知这是目前最具挑战性的一个。在两个公开数据集和我们自有数据集上的实验结果证明了方法的有效性与优势。代码已在线可用以促进未来研究。
引用
@article{arxiv.2209.07034,
title = {A Temporal Densely Connected Recurrent Network for Event-based Human Pose Estimation},
author = {Zhanpeng Shao and Wen Zhou and Wuzhen Wang and Jianyu Yang and Youfu Li},
journal= {arXiv preprint arXiv:2209.07034},
year = {2023}
}