ActSonic:从身体周围不可闻声波识别日常活动
人机交互
2024-11-27 v3 新兴技术
摘要
我们提出 ActSonic,一个智能低功耗的主动声学感知系统,集成在眼镜中,可识别 27 种日常活动(如吃饭、喝水、刷牙)的声音波动。该系统仅需安装在眼镜每侧铰链上的 miniature 扬声器和麦克风阵列,发射超声波,在身体周围创建声学气泡。声学信号根据各部位位置和运动情况被反射,由麦克风捕获后由定制的自监督深度学习框架分析,以推断在远程设备(如手机或云服务器)上执行的活动。ActSonic 经过 19 名参与者在 19 个家庭中的用户研究评估,追踪其在日常场景中的效果。在无需来自新用户训练数据(leave-one-participant-out 评估)的情况下,ActSonic 成功检测到了 27 项活动,在完全不受约束的场景下实现 86.6% 的平均 F1 分数,在提示设置下实现 93.4% 的 F1 分数。
引用
@article{arxiv.2404.13924,
title = {ActSonic: Recognizing Everyday Activities from Inaudible Acoustic Wave Around the Body},
author = {Saif Mahmud and Vineet Parikh and Qikang Liang and Ke Li and Ruidong Zhang and Ashwin Ajit and Vipin Gunda and Devansh Agarwal and François Guimbretière and Cheng Zhang},
journal= {arXiv preprint arXiv:2404.13924},
year = {2024}
}
备注
Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Volume 8, Issue 4, November 2024, IMWUT/UbiComp 2025