基于多任务视频分析的居家便携式帕金森病检测
计算机视觉与模式识别
2025-04-29 v5 人机交互
机器学习
摘要
帕金森病（PD）的可及性受限导致其被低诊断，阻碍了早期干预。现有的 AI-based PD 检测方法主要聚焦于单一模态的运动或语音任务，忽视了该疾病的多面性。为此，我们引入了一个大型多任务视频数据集，包含 1102 场SESSION（每场包含手指敲击、面部表情和语音任务的视频，采用网页摄像头录制），来自 845 名受试者（其中 272 名确诊 PD）。我们提出一种新型不确定性校准融合网络（UFNet），利用这种多模态数据来增强诊断准确性。UFNet 采用独立的任务特定网络进行训练，采用蒙特卡罗 Dropout 进行不确定性量化，随后通过自注意力融合特征，注意力权重根据任务特定的不确定性动态调整。为确保以患者为中心的评估，将受试者随机分为三个集合：60% 用于训练，20% 用于模型选择，20% 用于最终性能评估。UFNet 在准确率、ROC 曲线下面积（AUROC）和灵敏度方面显著优于单任务模型，同时保持非劣性特异性。剔除不确定性预测进一步提升了性能，实现 88.0±0.3% 的准确率、93.0±0.2% 的 AUROC、79.3±0.9% 的灵敏度和 92.6±0.3% 的特异性，代价是无法对 2.3±0.3% 的数据进行预测（± 表示 95% 置信区间）。进一步分析表明，训练好的模型在性别和族裔子组中不存在可检测的偏见，且对 50 岁至 80 岁的人群最为有效。仅需网页摄像头和麦克风，本方法可实现居家便携式 PD 筛查，尤其适用于医疗资源有限的地区。
引用
@article{arxiv.2406.14856,
title = {Accessible, At-Home Detection of Parkinson's Disease via Multi-task Video Analysis},
author = {Md Saiful Islam and Tariq Adnan and Jan Freyberg and Sangwu Lee and Abdelrahman Abdelkader and Meghan Pawlik and Cathe Schwartz and Karen Jaffe and Ruth B. Schneider and E Ray Dorsey and Ehsan Hoque},
journal= {arXiv preprint arXiv:2406.14856},
year = {2025}
}