基于基础模型的神经精神疾病评估：一个包含寿命阶段的多模态、多语言研究
计算与语言
2025-12-25 v1 声音
摘要
神经精神疾病，如阿尔弗来德病 (AD)、抑郁症和自闭光谱综合征 (ASD)，以语言和声学异常为特征，为早期检测提供了潜在生物标志物。尽管多模态方法前景广阔，但仍面临多语言泛化和缺乏统一评估框架等挑战。为解决这些问题，我们提出 FEND (Foundation model-based Evaluation of Neuropsychiatric Disorders)，一个综合性的多模态框架，集成语音和文本模态，用于跨寿命阶段检测 AD、抑郁症和 ASD。该框架基于 13 个跨语言数据集（涵盖英语、中文、希腊语、法语和荷兰语），系统评估了多模态融合性能。结果表明，AD 和抑郁症检测中多模态融合表现优异，但在 ASD 中表现不佳，因数据集异构性导致。我们还发现模态不平衡是普遍问题，多模态融合未能超越最佳单模态模型。跨语料实验显示，在任务一致或语言一致场景中表现稳健，但在多语言和任务异构场景中表现明显下降。通过提供广泛基准和对影响因素的详细分析，FEND 推动了自动化、跨寿命阶段和跨语言神经精神疾病评估的发展。我们鼓励研究人员采用 FEND 框架进行公平比较和可重复研究。
引用
@article{arxiv.2512.20948,
title = {Foundation Model-based Evaluation of Neuropsychiatric Disorders: A Lifespan-Inclusive, Multi-Modal, and Multi-Lingual Study},
author = {Zhongren Dong and Haotian Guo and Weixiang Xu and Huan Zhao and Zixing Zhang},
journal= {arXiv preprint arXiv:2512.20948},
year = {2025}
}