面向真实场景下激活肌群估计的研究
计算机视觉与模式识别
2024-08-07 v5 机器人学
图像与视频处理
摘要
在本文中，我们着手解决基于视频的激活肌群估计（AMGE）这一新任务，旨在真实场景下识别身体活动期间的活跃肌肉区域。为此，我们提供了 MuscleMap 数据集，其包含超过 15K 个视频片段，涵盖 135 种不同的活动以及 20 个标注的肌群。该数据集为在灵活环境约束下的体育与康复医学中多种基于视频的应用开辟了前景。所提出的 MuscleMap 数据集由 YouTube 视频构建，特别针对真实场景下的高强度间歇训练（HIIT）体育锻炼。为使 AMGE 模型能应用于实际情境，确保模型能很好地泛化至训练时未出现且涉及新激活肌肉组合的众多类型体育活动至关重要。为此，我们的基准测试还覆盖了一种评估设定：模型暴露于训练集中排除的活动类型。我们的实验表明，现有适配于 AMGE 任务的架构之泛化性仍具挑战。因此，我们还提出了一种新方法 TransM3E，其采用视频 transformer 模型与基于骨架的图卷积模型之间的多模态特征融合机制，并在多分类 token 上执行新颖的跨模态知识蒸馏。所提方法在处理已见与新型体育活动时均超越了所有流行的视频分类模型。数据库与代码可见于 https://github.com/KPeng9510/MuscleMap。
引用
@article{arxiv.2303.00952,
title = {Towards Activated Muscle Group Estimation in the Wild},
author = {Kunyu Peng and David Schneider and Alina Roitberg and Kailun Yang and Jiaming Zhang and Chen Deng and Kaiyu Zhang and M. Saquib Sarfraz and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2303.00952},
year = {2024}
}
备注
Accepted to ACM MM 2024. The database and code can be found at https://github.com/KPeng9510/MuscleMap