MunchSonic：通过眼镜上的主动声学感知跟踪细粒度饮食动作
人机交互
2024-08-06 v2 新兴技术
摘要
我们介绍了MunchSonic，一种集成在眼镜上的AI驱动主动声学感知系统，用于跟踪细粒度饮食动作。MunchSonic从眼镜框架发射不可听超声波，反射信号捕捉参与进食的身体部位（包括嘴、下巴、手臂和手）的详细位置和运动。这些信号由深度学习流水线处理，以分类六种动作：手到嘴的进食动作、咀嚼、喝水、说话、手脸接触以及其他活动（空）。在一项包含12名参与者的无约束研究中，MunchSonic在用户无关评估中实现了93.5%的宏F1分数，时间分辨率为2秒，同时展示了其在跟踪进食事件和这些事件中食物摄入频率方面的有效性。
引用
@article{arxiv.2405.21004,
title = {MunchSonic: Tracking Fine-grained Dietary Actions through Active Acoustic Sensing on Eyeglasses},
author = {Saif Mahmud and Devansh Agarwal and Ashwin Ajit and Qikang Liang and Thalia Viranda and Francois Guimbretiere and Cheng Zhang},
journal= {arXiv preprint arXiv:2405.21004},
year = {2024}
}
备注
8 pages, 7 figures