神经网络在捕捉类人语音识别中的成功与关键失败
声音
2023-04-20 v4 人工智能
音频与语音处理
神经元与认知
摘要
自然听觉与人工听觉原则上可以对给定问题习得不同的解决方案。然而，任务的约束可以促使听觉的认知科学与工程学在性质上趋于一致，这表明更紧密的相互审视可能会丰富人工听觉系统以及心智与大脑的过程模型。语音识别——一个适合此类探索的领域——在人类身上对多种频谱时间粒度的变换具有固有的鲁棒性。高性能神经网络系统在多大程度上能够解释这些鲁棒性特征？我们将语音识别实验整合到一个统一的合成框架下，以评估最先进的神经网络作为刺激可计算的、优化的观察者。在一系列实验中，我们（1）阐明了文献中有影响力的语音操作如何相互关联以及与自然语音的关系；（2）展示了机器表现出分布外鲁棒性的粒度，重现了人类的经典感知现象；（3）识别了模型预测与人类表现不同的具体条件；（4）展示了所有人工系统在人类能够进行感知恢复的关键失败，为理论和模型构建指明了替代方向。这些发现鼓励听觉的认知科学与工程学之间建立更紧密的协同。
引用
@article{arxiv.2204.03740,
title = {Successes and critical failures of neural networks in capturing human-like speech recognition},
author = {Federico Adolfi and Jeffrey S. Bowers and David Poeppel},
journal= {arXiv preprint arXiv:2204.03740},
year = {2023}
}