论利用音频信息改进对话策略

随着语音技术的显著进步，基于语音的目标导向对话系统正变得越来越受欢迎。对话系统的主要模块之一是对话策略，负责确定系统动作。该组件通常仅依赖音频转录，严重依赖其质量，忽略了用户语音中嵌入的重要非语言信息。在本文中，我们提出了新的架构，通过结合语音和文本嵌入使用双重多头注意力组件来添加音频信息。我们的实验表明，具备音频嵌入感知的对话策略优于基于文本的方法，尤其在噪声转录场景下表现更佳，且文本和音频嵌入的组合方式对于提高性能至关重要。在 DSTC2 数据集上，我们的方法相对于仅基于文本的对话系统获得了 9.8% 的相对 User Request Score 提升。