基于接触雷达和可穿戴 IMU 传感器的食物摄入手势检测鲁棒多模态学习框架
机器学习
2025-07-11 v1 信号处理
摘要
自动化食物摄入手势检测在饮食监控中发挥着关键作用，使能够客观且持续地跟踪饮食行为，从而支持更好的健康结果。佩戴在手腕上的惯性测量单元 (IMU) 已被广泛用于实现此任务并取得了有希望的结果。更近期，接触雷达传感器也显示出潜在的应用前景。本研究探讨了通过多模态学习组合 wearable 和接触雷达感知模组是否能够进一步提高检测性能。我们也解决了多模态学习的一个主要挑战：当一种模组缺失时鲁棒性下降的问题。为此，我们提出了一种具备跨模态注意力机制的鲁棒多模态时间卷积网络 (MM-TCN-CMA)，旨在整合 IMU 和雷达数据、增强手势检测，并在缺失模组条件下保持性能。开发了一个包含52次餐食（3,050次进食手势和797次饮水手势）的新数据集，来自52名受试者，并对其进行公开发布。实验结果表明，所提出的框架相对于单模态雷达和 IMU 模型，分别将分段 F1 分数提高了4.3%和5.2%。在缺失模组情形下，该框架仍能为缺失雷达输入和缺失 IMU 输入分别实现4.3%和5.2%的提升。这项工作是首个展示如何有效融合 IMU 和雷达数据进行食物摄入手势检测的鲁棒多模态学习框架。
引用
@article{arxiv.2507.07261,
title = {Robust Multimodal Learning Framework For Intake Gesture Detection Using Contactless Radar and Wearable IMU Sensors},
author = {Chunzhuo Wang and Hans Hallez and Bart Vanrumste},
journal= {arXiv preprint arXiv:2507.07261},
year = {2025}
}
备注
This manuscript has been submitted to a peer-reviewed journal and is currently under review