语音问答中的韵律作用

目前的 spoken language understanding 研究通常从文本角度出发，大多数数据集来自文本，随后被合成为语音，模型也通常依赖语音的自动转录。这种做法损害了韵律的利用——韵律包含了语音信号中除单词语音学之外的额外信息，且难以从文本中恢复。在本研究中，我们探讨了韵律在 spoken question answering 中的作用。通过在 SLUE-SQA-5 数据集上分离韵律和词汇信息，该数据集由自然语音组成，我们展示了仅使用韵律信息训练的模型可通过韵律线索实现相当好的性能。然而，我们发现当词汇信息可用时，模型倾向于主要依赖词汇信息。我们的发现表明，尽管韵律线索提供了有价值的补充信息，但需要更有效的集成方法以确保韵律在词汇特征中发挥更大作用。