基于动态手部姿态低维嵌入的智能音箱连续交互
人机交互
2023-03-01 v1
摘要
本文提出了一种针对智能音乐音箱的、具有手部姿态视觉反馈与空中手势识别控制的新型连续交互策略，其仅利用 2 帧视频即可识别手势。来自 MediaPipe Hands 的基于帧的手部姿态特征包含 21 个关键点，通过自编码器嵌入到 2 维姿态空间中。通过将高维音乐曲目轮廓嵌入到兼容的二维嵌入中，创建了用于与音乐内容交互的相应空间。随后应用基于 PointNet 的模型对手势进行分类，这些手势用于控制设备交互或探索音乐空间。通过联合优化自编码器与分类器，我们得以学习到对区分手势更有用的嵌入空间。我们通过有经验用户通过改变手部姿态选择不同音乐情绪来演示该系统的功能。
引用
@article{arxiv.2302.14566,
title = {Continuous interaction with a smart speaker via low-dimensional embeddings of dynamic hand pose},
author = {Songpei Xu and Chaitanya Kaul and Xuri Ge and Roderick Murray-Smith},
journal= {arXiv preprint arXiv:2302.14566},
year = {2023}
}
备注
Accepted at ICASSP 2023