BiFingerPose：基于双模态的触摸设备手指姿态估计
计算机视觉与模式识别
2025-11-24 v1
摘要
手指姿态为扩大触摸屏设备的人机交互能力提供了广阔机会。现有的可在便携式设备上实现的手指姿态估计算主要依赖电容图像，目前仅能估计俯仰角和偏航角，在处理大角度输入（尤其是超过45度）时准确率较低。在本文中，我们提出了BiFingerPose，一种新型双模态基于手指姿态估计算法，能够同时且准确地预测全面的手指姿态信息。探索了双模态输入，包括来自带有底屏指纹传感器的触摸屏的电容图像和指纹补丁。我们的做法实现了roll角的可靠估计，而这种工作量单一模态难以实现。此外，其他姿态参数的预测性能也得到了很大提升。对12名用户在连续和离散交互任务上的评估进一步验证了我们方法的优势。具体而言，BiFingerPose相对于以前的SOTA方法在预测性能上提升超过21%，任务完成效率提升2.5倍，用户操作准确率提高23%，显示出其实际优势。最后，我们阐述了围绕提升身份验证安全性和改进交互体验的手指姿态应用空间，并开发了相应的原型以展示交互潜力。我们的代码将在https://github.com/XiongjunGuan/DualFingerPose上提供。
引用
@article{arxiv.2511.17306,
title = {BiFingerPose: Bimodal Finger Pose Estimation for Touch Devices},
author = {Xiongjun Guan and Zhiyu Pan and Jianjiang Feng and Jie Zhou},
journal= {arXiv preprint arXiv:2511.17306},
year = {2025}
}