基于骨架的时空图卷积网络进食手势检测
计算机视觉与模式识别
2025-04-16 v1
摘要
超重和肥胖已成为普遍的社会挑战，通常与不健康的饮食模式有关。通过自动检测进食手势来增强日常饮食监测是一种很有前景的方法。本研究引入了一种基于骨架的方法，使用一个将膨胀时空图卷积网络（ST-GCN）与双向长短期记忆（BiLSTM）框架相结合的模型，称为 ST-GCN-BiLSTM，来检测进食手势。基于骨架的方法提供了关键优势，包括环境鲁棒性、降低的数据依赖性以及增强的隐私保护。采用了两个数据集进行模型验证。OREBA 数据集由实验室录制的视频组成，在识别进食和饮水手势方面分别达到了 86.18% 和 74.84% 的分段 F1 分数。此外，使用在更灵活的实验条件下用智能手机录制并收集的数据集，用在 OREBA 上训练的模型进行了评估，在检测进食和饮水手势方面分别获得了 85.40% 和 67.80% 的 F1 分数。结果不仅证实了利用骨架数据进行进食手势检测的可行性，还突出了所提出方法在跨数据集验证中的鲁棒性。
引用
@article{arxiv.2504.10635,
title = {Skeleton-Based Intake Gesture Detection With Spatial-Temporal Graph Convolutional Networks},
author = {Chunzhuo Wang and Zhewen Xue and T. Sunil Kumar and Guido Camps and Hans Hallez and Bart Vanrumste},
journal= {arXiv preprint arXiv:2504.10635},
year = {2025}
}
备注
The manuscript has been accepted in 47th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (IEEE EMBC 2025)