SurfaceXR：融合智能手表IMU与蛮手姿势的全身面积交互
计算机视觉与模式识别
2026-03-23 v1 人机交互
机器学习
摘要
Extended Reality（XR）中的中空手势常导致疲劳和不准确。基于表面的交互提供了更好的精度和舒适性，但当前的蛮手视觉方法由于手部跟踪困难和不可靠的表面平面估计而难以实现。我们引入SurfaceXR，一种结合 headset 基于手部跟踪与智能手表 IMU 数据的传感器融合方法，以在日常表面上实现稳健输入。我们的洞察在于，这些模态是互补的：手部跟踪提供3D位置数据，而IMU捕获高频运动。21名参与者的研究验证了SurfaceXR对于触摸跟踪和8类手势识别的有效性，显示出相对于单一模态方法的显著改进。
引用
@article{arxiv.2603.19529,
title = {SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions},
author = {Vasco Xu and Brian Chen and Eric J. Gonzalez and Andrea Colaço and Henry Hoffmann and Mar Gonzalez-Franco and Karan Ahuja},
journal= {arXiv preprint arXiv:2603.19529},
year = {2026}
}
备注
Accepted to IEEE VR 2026 as a TVCG journal paper