基于自我中心视频识别卒中后居家环境中的手部使用与手角色

引言：手部功能是卒中后独立生活的关键决定因素。测量居家环境中的手部使用对于评估新干预措施的影响十分必要，这需要新型可穿戴技术。自我中心视频能够捕捉情境中的手-物交互，并展示在双侧任务中受累较重手的使用情况（用于稳定或操作）。需要自动化方法来提取这些信息。目的：利用基于人工智能的计算机视觉对卒中后居家记录的自我中心视频中的手部使用和手角色进行分类。方法：21名卒中幸存者参与了本研究。应用随机森林分类器、SlowFast神经网络和Hand Object Detector神经网络来识别居家的手部使用和手角色。采用留一受试者交叉验证（LOSOCV）评估三个模型的性能。基于马修斯相关系数（MCC）计算模型间的组间差异。结果：在手使用检测中，Hand Object Detector的性能显著优于其他模型。该模型在LOSOCV中对受累较重手的宏平均MCC为0.50±0.23，对受累较轻手为0.58±0.18。所有模型在LOSOCV中的手角色分类宏平均MCC均接近于零。结论：使用自我中心视频捕捉卒中幸存者居家手部使用是可行的。未来姿态估计追踪手指运动可能有助于手角色分类。