基于手写样本的儿童书写障碍诊断：多模态集成与条件特征融合
计算机视觉与模式识别
2024-08-27 v1 人工智能
摘要
发展性书写障碍是一种神经系统障碍，阻碍儿童的写作能力。近年来，研究者越来越多地探索基于离线和在线手写数据使用机器学习方法来支持书写障碍的诊断。大多数以前的研究分别分析这两种类型的数据，这不一定导致理想的结果。无法探索在线和离线数据之间的关系。为此，我们提出了一种新型多模态机器学习方法，同时利用在线和离线手写数据。我们通过转换现有在线手写数据集创建了新数据集，生成相应的离线手写图像。我们在我们的多模态分析中仅考虑不同类型的 word 数据（简单 word、伪 word 和 difficult word）。我们分别在在线和离线特征上训练 SVM 和 XGBoost 分类器，并实现了多模态特征融合和软投票集成。此外，我们提出了一种新型集成方法，其条件特征融合能够智能地组合来自在线和离线分类器的预测，当置信度得分低于阈值时，选择性地整合特征融合。我们新颖的方法达到了 88.8% 的准确率，超过单一模态的 SVM 12-14%，现有方法 8-9%，以及传统多模态方法（软投票集成和特征融合）分别高出 3% 和 5%。该方法的创新性贡献在于发展出准确且高效的书写障碍诊断工具，只需一个多模态 word/伪word 数据实例即可确定书写障碍。这一工作凸显了多模态学习在提高书写障碍诊断方面的潜力，为可及且实用的诊断工具铺平了道路。
引用
@article{arxiv.2408.13754,
title = {Multimodal Ensemble with Conditional Feature Fusion for Dysgraphia Diagnosis in Children from Handwriting Samples},
author = {Jayakanth Kunhoth and Somaya Al-Maadeed and Moutaz Saleh and Younes Akbari},
journal= {arXiv preprint arXiv:2408.13754},
year = {2024}
}