VidSole：用于联合运动学量化和疾病检测的多模态数据集
计算机视觉与模式识别
2025-01-31 v1 信号处理
摘要
理解内部关节负荷对于诊断如髋关节骨关节炎等步态相关疾病至关重要；然而，当前测量关节风险因子的方法在成本、耗时方面均存在不足，且局限于实验室环境。本文通过三个关键贡献实现了关节负荷的大规模、低成本生物力学分析：开发和部署 novel instrumented insoles（经标定的足垫）、创建大型多模态生物力学数据集（VidSole），以及构建基线深度学习管道以预测内部关节负荷因子。我们的 novel instrumented insole 测量足部五个高压点的三轴力和力矩。VidSole包含由这些足垫测量的力和力矩数据，以及来自两个视角的RGB视频、3D体动捕数据和力板数据，涵盖超过2600次52名不同参与者进行的四种基本日常活动（坐起、站坐、步行和跑步）。我们将足垫数据和从视频中可提取的运动参数（即姿态、膝关节角度）输入深度学习管道，管道包括由Gated Recurrent Unit（GRU）活动分类器组成的 ensemble，后接按活动特定的Long Short Term Memory（LSTM）回归网络，用于估计髋关节内侧力矩（KAM），这是髋关节骨关节炎的生物力学风险因子。成功的活动分类准确率达99.02%，KAM估计的平均绝对误差（MAE）小于0.5%体重*身高，这是当前用于准确检测髋关节骨关节炎的KAM阈值，说明了该数据集对未来研究和临床应用的有用性。
引用
@article{arxiv.2501.17890,
title = {VidSole: A Multimodal Dataset for Joint Kinetics Quantification and Disease Detection with Deep Learning},
author = {Archit Kambhamettu and Samantha Snyder and Maliheh Fakhar and Samuel Audia and Ross Miller and Jae Kun Shim and Aniket Bera},
journal= {arXiv preprint arXiv:2501.17890},
year = {2025}
}
备注
Accepted by AAAI 2025 Special Track on AI for Social Impact