中文

解释机器学习中的语谱图:面向语音分类的神经网络研究

音频与语音处理 2024-07-25 v1 人工智能 计算与语言

摘要

本研究调查了神经网络为准确进行语音分类而学习的判别模式,特别关注元音分类任务。通过检查用于元音分类的神经网络的激活和特征,我们深入了解了网络在语谱图中“看到”了什么。通过使用类激活映射,我们识别出对元音分类有贡献的频率,并将这些发现与语言学知识进行比较。在一个美式英语元音数据集上的实验展示了神经网络的可解释性,并为误分类的原因及其在区分清辅音时的特征提供了宝贵的见解。这项研究不仅增强了我们对元音分类中潜在声学线索的理解,还通过弥合神经网络中的抽象表示与既定语言学知识之间的差距,为改进语音识别提供了机会。

关键词

引用

@article{arxiv.2407.17416,
  title  = {Explaining Spectrograms in Machine Learning: A Study on Neural Networks for Speech Classification},
  author = {Jesin James and Balamurali B. T. and Binu Abeysinghe and Junchen Liu},
  journal= {arXiv preprint arXiv:2407.17416},
  year   = {2024}
}

备注

5th International Conference on Artificial Intelligence and Speech Technology (AIST-2023), New Delhi, India