Beyond-Voice：面向商用家用助手设备的连续三维手部姿态跟踪
声音
2025-09-05 v3 人机交互
音频与语音处理
摘要
家用助手及其语音用户界面(VUI)的激增流行，使其成为智能家居设备的理想中央控制枢纽。然而，当前形态严重依赖VUI，带来可及性与可用性问题；部分最新设备配备了额外摄像头与显示屏，成本高昂且引发隐私担忧。这些担忧共同催生了Beyond-Voice——一种新型高保真声学传感系统，使商用家用助手设备能够连续跟踪并重建手部姿态。它利用设备现有的板载麦克风与扬声器将家用助手转变为主动声纳系统。我们将高分辨率距离剖面输入深度学习模型，该模型可分析多个身体部位的运动并预测21个手指关节的三维位置，将声学手部跟踪的粒度提升至新高度。它可在不同环境与用户间运行，无需个性化训练数据。一项由11名参与者在3种不同环境中进行的用户研究表明，Beyond-Voice可在未提供测试对象任何训练数据的情况下，以16.47mm的平均绝对误差跟踪关节。
引用
@article{arxiv.2306.17477,
title = {Beyond-Voice: Towards Continuous 3D Hand Pose Tracking on Commercial Home Assistant Devices},
author = {Yin Li and Rohan Reddy and Cheng Zhang and Rajalakshmi Nandakumar},
journal= {arXiv preprint arXiv:2306.17477},
year = {2025}
}
备注
Accepted by IPSN 2024