Eat-Radar：基于 FMCW 雷达与带注意力机制的 3D 时间卷积网络实现连续细粒度进食动作检测
计算机视觉与模式识别
2023-12-19 v2 图像与视频处理
信号处理
摘要
不健康的饮食习惯被认为是肥胖、糖尿病等多种慢性疾病的主要诱因。自动进食监测系统有望通过膳食评估改善饮食相关疾病患者的生活质量（QoL）。在本工作中，我们提出一种新颖的基于雷达的非接触式进食监测方法。具体而言，采用调频连续波（FMCW）雷达传感器来识别细粒度的进食与饮水动作。细粒度进食/饮水动作包含从抬手至口到手离开口部的一系列运动。我们开发了带自注意力的 3D 时间卷积网络（3D-TCN-Att），通过处理距离-多普勒立方体（RD Cube）来检测并分割用餐时段中的进食与饮水动作。与以往基于雷达的研究不同，本工作在连续用餐时段（更真实的场景）中采集数据。我们创建了一个公开数据集，包含来自 70 名参与者的 70 个用餐时段（4,132 个进食动作和 893 个饮水动作），总时长为 1,155 分钟。该数据集涵盖四种进食方式（刀叉、筷子、勺、手）。为验证所提方法的性能，采用了七折交叉验证。3D-TCN-Att 模型对进食和饮水动作的段落 F1 分数分别达到 0.896 和 0.868。所提方法的结果表明了在用餐时段中使用雷达进行细粒度进食与饮水动作检测及分割的可行性。
引用
@article{arxiv.2211.04253,
title = {Eat-Radar: Continuous Fine-Grained Intake Gesture Detection Using FMCW Radar and 3D Temporal Convolutional Network with Attention},
author = {Chunzhuo Wang and T. Sunil Kumar and Walter De Raedt and Guido Camps and Hans Hallez and Bart Vanrumste},
journal= {arXiv preprint arXiv:2211.04253},
year = {2023}
}
备注
The manuscript has been accepted in IEEE Journal of Biomedical and Health Informatics