使用基于双输入 Transformer 的网络从单 RGB 视频进行定量步态分析

步态与运动分析已成为成熟的临床工具，用于诊断健康状况、监测广泛疾病的进展，以及实施和评估治疗、手术和/或康复干预。然而，定量运动评估仍局限于昂贵的运动捕捉系统和专业人员，限制了其可及性和更广泛的应用。深度神经网络的最新进展使得利用单摄像头视频进行定量运动分析成为可能，为传统运动捕捉系统提供了易于获取的替代方案。在本文中，我们提出了一种通过双模式输入卷积 Transformer 网络进行临床步态分析的高效方法。该系统利用双输入 Transformer 模型，从单视角摄像头采集的单 RGB 视频中估计基本步态参数。该系统在估计步态偏差指数（GDI）、膝关节屈曲角度、步长和步行步频等关键指标时展现出高准确率，并在运动障碍患者数据集上得到了验证。值得注意的是，我们的方法在多种场景下超越了现有方法，且使用的资源更少，证明其非常适合临床应用，尤其是在资源受限的环境中。