基于潜在注意力池的临床先导多模态学习用于基于步态的脊柱侧弯筛查
计算机视觉与模式识别
2026-02-09 v1
摘要
青少年性情性脊柱侧弯 (AIS) 是一种常见的脊柱畸形，通过早期检测可减缓其进程。传统筛查方法往往主观、难以规模化，且依赖专业临床知识。基于视频的步态分析提供了一种有前景的替代方案，但当前数据集和方法常常存在数据泄漏，即同一患者的重复剪辑会人为提升性能，或采用过于简化的模型而缺乏临床可解释性。为克服这些限制，我们引入 ScoliGait，一个新的基准数据集，包含 1,572 个用于训练的步态视频剪辑和 300 个完全独立的测试剪辑。每个剪辑都标注有放射性 Cobb 角度和基于临床运动学先验的描述性文本。我们提出一种多模态框架，将临床先导的运动学知识图集用于可解释特征表示，同时引入潜在注意力池机制融合视频、文本和知识图集三种模态。我们的方法在真实、非重复受试者基准上建立了新的状态-of-the-art，显著提升了性能。我们的做法为可扩展、无创的 AIS 评估提供了一个稳健、可解释且临床导向的基础。
引用
@article{arxiv.2602.06743,
title = {Clinical-Prior Guided Multi-Modal Learning with Latent Attention Pooling for Gait-Based Scoliosis Screening},
author = {Dong Chen and Zizhuang Wei and Jialei Xu and Xinyang Sun and Zonglin He and Meiru An and Huili Peng and Yong Hu and Kenneth MC Cheung},
journal= {arXiv preprint arXiv:2602.06743},
year = {2026}
}