用于非标环境下自同步多视角关节角监控的智能代理管道

运动学监测在脊髓损伤（SCI）患者的长期康复中发挥关键作用，其中多视角无标定运动捕捉方法显示出巨大的潜力。然而，由于依赖标定且难以实现多视角同步，其在患者自行部署的环境中部署仍具有挑战性。本文提出了一种用于非标环境下自同步多视角关节角监控的智能代理管道，仅使用两台摄像头且无需硬件触发器。多模态大语言模型实现视频自动同步和代理驱动的自我验证。采用最先进的单目2D姿态估计模型提取候选姿态，其中应用了基于代理的选择机制以自动识别和跟踪目标主体，从而在存在多个主体和遮挡的情况下产生一致的2D姿态。这些2D姿态被优化用于从非标定的多视角姿态序列中估计关节角度，通过显式几何建模确保可解释性。针对Vicon系统的验证结果表明，该方法性能卓越，平均绝对误差（MAE）为$5.97^\circ \pm 2.36^\circ$，皮尔逊相关系数为$0.962 \pm 0.014$。该方法有望为患者在非标定的家庭环境中执行日常运动学监控提供实用且可自行部署的系统。