用于基于视频的进食手势检测的深度表征学习
计算机视觉与模式识别
2019-09-25 v1 机器学习
图像与视频处理
摘要
在进食场合中自动检测个体进食手势有潜力改善饮食监测并支持膳食建议。现有研究通常利用体载式解决方案如惯性和音频传感器，而视频被用作真值。直接基于视频的进食手势检测很少被尝试。在本研究中，我们填补这一空白，并表明深度学习架构可以成功应用于基于视频的进食手势检测问题。为此，我们使用 102 名参与者的 360 度视频收集并标注进食场合的视频数据。应用来自视频动作识别的最先进方法，我们的结果表明：（1）最佳模型取得 0.858 的 分数，（2）外观特征比运动特征贡献更大，（3）以多视频帧形式的时间上下文对于顶级模型性能至关重要。
引用
@article{arxiv.1909.10695,
title = {Learning deep representations for video-based intake gesture detection},
author = {Philipp V. Rouast and Marc T. P. Adam},
journal= {arXiv preprint arXiv:1909.10695},
year = {2019}
}
备注
To be published in IEEE Journal of Biomedical and Health Informatics