中文

模态顺序至关重要!一种用于CoSAm语料库的新型层次化特征融合方法

机器学习 2025-06-16 v3

摘要

自闭症谱系障碍(ASD)是一种复杂的神经发育挑战,表现为在不同情境下社交互动、沟通以及重复行为表达方面的一系列困难。其日益增长的患病率凸显了ASD作为一个主要公共卫生问题的重要性,以及需要全面的研究计划来增进我们对该障碍及其早期检测方法的理解。本研究引入了一种新型的层次化特征融合方法,旨在通过分析语码转换语音(英语和印地语)来增强儿童ASD的早期检测。该研究采用先进的音频处理技术,利用Transformer编码器整合声学、副语言学和语言学信息。这种创新的融合策略旨在提高分类的鲁棒性和准确性,这对于早期和精确的ASD识别至关重要。该方法涉及从被诊断为ASD的儿童和一个匹配的对照组收集一个语码转换语音语料库CoSAm。该数据集包含来自30名被诊断为ASD的儿童和31名神经典型儿童的61段录音,年龄在3至13岁之间,总计159.75分钟的语音录音。特征分析侧重于MFCC和广泛的统计属性,以捕捉语音模式的可变性和复杂性。最佳模型性能通过层次化融合技术实现,首先结合声学和语言学特征,然后以层次化方式结合副语言特征,准确率达到98.75%。

关键词

引用

@article{arxiv.2407.14328,
  title  = {Modality-Order Matters! A Novel Hierarchical Feature Fusion Method for CoSAm: A Code-Switched Autism Corpus},
  author = {Mohd Mujtaba Akhtar and Girish and Muskaan Singh and Orchid Chetia Phukan},
  journal= {arXiv preprint arXiv:2407.14328},
  year   = {2025}
}

备注

We are withdrawing this paper as the current version requires substantial changes to the experimental design and analysis in Sections 4 and 5. These changes go beyond a minor revision, and there is no replacement version available at this time. A thoroughly revised version may be submitted as a new paper in the future