ThermoHands：基于偶然热图的 3D 手姿估计基准
计算机视觉与模式识别
2025-02-28 v5 人工智能
人机交互
机器学习
摘要
设计能够在复杂真实场景下保持可靠性能的偶然 3D 手姿估计系统对于下游应用至关重要。以往使用 RGB 或 NIR 图像的方法在挑战性条件下难以胜任：RGB 方法受光照变化和手套等遮挡影响，而 NIR 技术则可能受阳光干扰或其他配备 NIR 设备的设备干扰。为解决这些局限性，我们提出 ThermoHands，首个聚焦热图基准的 3D 手姿估计基准，展示了热图在实现稳健性能方面的潜力。该基准包含来自 28 名受试者在多场景下进行手部-物体和手部-虚拟交互时收集的多视角、多光谱数据集，通过自动化过程准确标注 3D 手姿。我们引入新的基线方法 TherFormer，利用双变换器模块有效地用于热图中的偶然 3D 手姿估计。我们的实验结果突出 TherFormer 的领先性能，确认了热图在实现不利条件下稳健 3D 手姿估计方面的有效性。
引用
@article{arxiv.2403.09871,
title = {ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images},
author = {Fangqiang Ding and Yunzhou Zhu and Xiangyu Wen and Gaowen Liu and Chris Xiaoxuan Lu},
journal= {arXiv preprint arXiv:2403.09871},
year = {2025}
}
备注
This paper has been accepted to the 23rd ACM Conference on Embedded Networked Sensor Systems (Sensys'25). Including 14 pages, 9 figures, 6 tables