文本至关重要而语音具影响力：句法歧义消解的计算分析

分析人类如何消解句法歧义长期以来一直是语言学领域关注的问题。同时，这也是口语语言理解（SLU）系统最具挑战性的问题之一。由于句法歧义与韵律和语义问题交织在一起，针对语音意图识别的计算方法有望从人类语言处理机制的观察中获益。在这方面，我们采用同时利用声学与文本特征的注意力循环神经网络来处理该任务，并揭示各模态如何相互作用以推导句子含义。利用基于句法歧义话语韩文脚本录制的语音语料库，我们发现协同注意力框架，即多跳注意力与交叉注意力，在消歧语音意图方面表现出显著优越的性能。通过进一步分析，我们证明计算模型反映了听觉与语言处理过程之间的内在关系。