慢学快追:利用RGB域知识的速度自适应事件手部跟踪器
计算机视觉与模式识别
2023-03-01 v1
摘要
基于单目RGB视频的3D手部跟踪方法易受运动模糊影响,而事件相机作为一种具有高时间分辨率和动态范围的传感器,凭借稀疏输出和低功耗天然适用于该任务。然而,获取快速运动手的3D标注以构建基于事件的手部跟踪数据集十分困难。本文中,我们提供了一种基于事件的速度自适应手部跟踪器(ESAHT)来解决基于事件相机的手部跟踪问题。我们使一个在慢速运动手部跟踪数据集上训练的CNN模型(该模型可利用基于RGB的手部跟踪方案的知识)工作于快速手部跟踪任务。为实现我们的方案,我们构建了首个真实环境中由事件相机采集的3D手部跟踪数据集,提出了两种数据增强方法以缩小慢速与快速运动数据间的域差距,开发了速度自适应事件流分割方法以处理不同移动速度下的手部运动,并引入了一种适应不同长度事件流的新事件到帧表示方法。实验表明,我们的方案在快速手部跟踪任务中优于基于RGB的及先前的基于事件的方案,且我们的代码与数据集将公开可用。
引用
@article{arxiv.2302.14430,
title = {Tracking Fast by Learning Slow: An Event-based Speed Adaptive Hand Tracker Leveraging Knowledge in RGB Domain},
author = {Chuanlin Lan and Ziyuan Yin and Arindam Basu and Rosa H. M. Chan},
journal= {arXiv preprint arXiv:2302.14430},
year = {2023}
}