韵律能否帮助自动识别对话语音中的对话行为？

识别语音单元是否为陈述、问题、问候等对于有效的自然对话自动理解至关重要。然而，关于如何在真实自然对话中自动分类此类对话行为（DAs）已知的研究极少。本研究探讨了当前主要依赖词汇信息的做法是否可以通过加入韵律信息来获得改进。该研究基于 Switchboard 语料库中超过 1000 场对话进行。对话行为被手工标注，韵律特征（持续时间、停顿、基频 F0、能量和说话速度）被自动提取用于每个对话行为。在训练中，基于这些特征推断决策树模型；随后将模型应用到未见的测试数据上进行评估。我们分别评估了韵律模型单独的表现，以及将韵律模型与词汇信息结合后的表现——后者可来自真实词汇或自动语音识别器的输出。对于整体分类任务及其三个子任务，韵律均显著提升了分类性能。特征细分分析进一步表明，尽管规范特征（如 F0用于问题识别）重要，但若缺失这些特征，韵律特征中较不显眼的特征也能弥补。最后，在每个任务中，将韵律模型与特定于对话行为的统计语言模型集成，均优于语言模型单独使用，尤其在使用自动识别的词汇时效果更为显著。结果表明，对话行为在自然对话中具有冗余标记，且多种可自动提取的韵律特征均有助于语音应用中的对话处理。