用于端到端对话行为分类的神经韵律编码器
计算与语言
2022-05-12 v1 声音
音频与语音处理
摘要
对话行为分类（DAC）是对话系统中口语理解的关键任务。能量和音高之类的韵律特征已被证明对 DAC 有用。尽管其重要，鲜有研究探索将韵律特征整合进端到端（E2E）DAC 模型的神经方法，此类模型直接从音频信号推断对话行为。在本工作中，我们提出一种 E2E 神经架构，其考虑到刻画话语内部不同层级共现的韵律现象的需求。该架构的新颖部分是一个可学习的门控机制，用于评估韵律特征的重要性并选择性保留 E2E DAC 所需的核心信息。我们所提模型在三个公开基准数据集上将 DAC 准确率绝对提升 1.07%。
引用
@article{arxiv.2205.05590,
title = {A neural prosody encoder for end-ro-end dialogue act classification},
author = {Kai Wei and Dillon Knox and Martin Radfar and Thanh Tran and Markus Muller and Grant P. Strimel and Nathan Susanj and Athanasios Mouchtaris and Maurizio Omologo},
journal= {arXiv preprint arXiv:2205.05590},
year = {2022}
}