同音词消歧揭示语音 Transformer 中的上下文混合模式
计算与语言
2023-10-17 v1 人工智能
机器学习
摘要
Transformer 已成为语音处理中的关键架构，但我们对它们如何构建声学与语言结构表示的理解仍然有限。在本研究中，我们针对这一空白，探讨为文本模型开发的“上下文混合”度量如何被调整并应用于口语模型。我们确定了一种适于此类案例研究的语言现象：法语中的同音现象（例如 livre 与 livres），其中语音识别模型必须关注限定词和代词等句法线索，以消歧发音相同且需遵循语法一致性的口语词并正确转写。我们在基于 Transformer 的语音模型上进行了一系列受控实验与探测分析。我们的发现揭示，仅编码器模型中的表示有效整合了这些线索以识别正确转写，而编码器-解码器模型中的编码器主要将捕获上下文依赖的任务交由解码器模块。
引用
@article{arxiv.2310.09925,
title = {Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers},
author = {Hosein Mohebbi and Grzegorz Chrupała and Willem Zuidema and Afra Alishahi},
journal= {arXiv preprint arXiv:2310.09925},
year = {2023}
}
备注
Accepted to EMNLP 2023 (main)