深度神经网络如何看待英语单词的词汇重音？
计算与语言
2026-02-13 v4 机器学习
声音
音频与语音处理
摘要
尽管神经网络在语音处理方面取得了成功，但常以黑箱形式存在，引发关于它们决策依据以及如何被解释的疑问。本文聚焦于词汇重音。自动构建了一个来自阅读和自发语音的英语双音节词数据集。训练了多个卷积神经网络（CNN）架构，以从双音节词的谱图表示中预测重音位置（如初始重音 WAllet、终止重音 exTEND），在 held-out 测试数据上达到最高 92% 的准确率。层次相关性反向传播（LRP）这种神经网络解释性分析技术揭示，对于 held-out 最小对偶词（PROtest vs. proTEST）的预测，最强烈地受到重音音节与非重音音节信息的影响，特别是重音元音的谱特征。然而，分类器也关注整个单词中的信息。提出一种面向特征的相关性分析，结果表明，最佳分类器强烈受制于重音元音的一级和二级共振峰（formants），且有证据表明其音高和三级共振峰也有贡献。这些结果揭示了深度学习从自然语音数据中获取分布式重音线索的能力，拓展了基于高度受控刺激的传统语音学研究。
引用
@article{arxiv.2508.07229,
title = {How Does a Deep Neural Network Look at Lexical Stress in English Words?},
author = {Itai Allouche and Itay Asael and Rotem Rousso and Vered Dassa and Ann Bradlow and Seung-Eun Kim and Matthew Goldrick and Joseph Keshet},
journal= {arXiv preprint arXiv:2508.07229},
year = {2026}
}
备注
11 pages, 5 figures, accepted to the Journal of the Acoustical Society of America (JASA)