医疗中的语音基础模型：层选择对病理语音特征预测的影响
音频与语音处理
2024-06-24 v2 计算与语言
机器学习
摘要
从语音中准确提取临床信息对于许多神经系统疾病的诊断和治疗至关重要。因此，利用人工智能进行自动、客观的临床语音评估以促进言语障碍的诊断和治疗引起了广泛关注。我们探索使用基础模型进行迁移学习，重点关注层选择对下游任务（预测病理语音特征）的影响。我们发现，选择最优层可以显著提高性能（与最差层相比，每个特征的平衡准确率提高约15.8%；与最后一层相比，提高约13.6%），尽管最佳层因预测特征而异，并且不一定能很好地泛化到未见数据。学习加权和的表现与分布内平均最佳层相当（仅低约1.2%），并且在分布外数据上具有很强的泛化能力（仅比平均最佳层低1.5%）。
引用
@article{arxiv.2402.01796,
title = {Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction},
author = {Daniela A. Wiepert and Rene L. Utianski and Joseph R. Duffy and John L. Stricker and Leland R. Barnard and David T. Jones and Hugo Botha},
journal= {arXiv preprint arXiv:2402.01796},
year = {2024}
}
备注
Accepted to INTERSPEECH 2024