FLEX：用于健身动作质量评估结构化表征学习的大规模多模态多视角数据集
摘要
动作质量评估（AQA）——量化动作执行优劣的任务——在检测健身房力量训练错误方面具有巨大潜力，因为准确的反馈对于预防受伤和最大化训练收益至关重要。然而，现有的AQA数据集仅限于单视角竞技体育和RGB视频，缺乏多模态信号和针对健身动作的专业评估。我们引入了FLEX，首个结合表面肌电图（sEMG）的大规模、多模态、多视角健身AQA数据集。FLEX包含38名不同技能水平受试者执行的20种负重练习的超过7,500条多视角记录，并带有同步的RGB视频、3D姿态、sEMG和生理信号。专家标注被组织成健身知识图谱（FKG），将动作、关键步骤、错误类型和反馈关联起来，支持用于可解释质量评估的复合评分函数。FLEX支持多模态融合、跨模态预测——包括新颖的VideoEMG任务——以及面向生物力学的表征学习。基于FKG，我们进一步引入了FLEX-VideoQA，一个具有分层查询的结构化问答基准，用于驱动视觉语言模型中的跨模态推理。基线实验表明，多模态输入、多视角视频和细粒度标注显著增强了AQA性能。因此，FLEX将AQA推向更丰富的多模态环境，并为AI驱动的健身评估和教练奠定了基础。数据集和代码可在 \href{https://github.com/HaoYin116/FLEX}{https://github.com/HaoYin116/FLEX} 获取。项目页面链接：\href{https://haoyin116.github.io/FLEX_Dataset}{https://haoyin116.github.io/FLEX_Dataset}。
引用
@article{arxiv.2506.03198,
title = {FLEX: A Largescale Multimodal, Multiview Dataset for Learning Structured Representations for Fitness Action Quality Assessment},
author = {Hao Yin and Lijun Gu and Paritosh Parmar and Lin Xu and Tianxiao Guo and Xiujin Liu and Weiwei Fu and Yang Zhang and Tianyou Zheng},
journal= {arXiv preprint arXiv:2506.03198},
year = {2026}
}
备注
Dataset and code are available at https://github.com/HaoYin116/FLEX . Link to Project page https://haoyin116.github.io/FLEX_Dataset