SLUE Phase-2：多样化口语理解任务的基准测试套件
计算与语言
2023-06-19 v2 音频与语音处理
摘要
口语理解（SLU）任务在语音研究界已被研究数十年，但并未像语音和说话人识别等低级任务那样受到广泛关注。特别是，SLU 任务基准测试的数量远远不够，且许多现有基准测试使用的数据并非对所有研究人员免费开放。最近的工作已开始为几项任务引入此类基准数据集。在这项工作中，我们基于免费可用的语音数据引入了几个新的带标注 SLU 基准任务，它们补充了现有基准并填补了 SLU 评估领域的空白。我们贡献了四项任务：问答和摘要涉及对较长语音序列的推理；命名实体定位解决了在信号中定位目标内容的语音特定任务；对话行为分类识别给定语音话语的功能。我们遵循口语理解评估（SLUE）基准测试套件的蓝图。为了促进利用预训练语音表示成功的 SLU 模型的开发，我们将为每项任务发布 相对较小的微调集的标注、 带标注的开发集和测试集，以及 便于复现和比较的基线模型。在这项工作中，我们介绍了数据收集和标注的细节以及基线模型的性能。我们还使用超过 20 个最先进的语音识别模型，对流水线模型（语音识别器 + 文本模型）的性能对语音识别准确率的敏感性进行了分析。
引用
@article{arxiv.2212.10525,
title = {SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks},
author = {Suwon Shon and Siddhant Arora and Chyi-Jiunn Lin and Ankita Pasad and Felix Wu and Roshan Sharma and Wei-Lun Wu and Hung-Yi Lee and Karen Livescu and Shinji Watanabe},
journal= {arXiv preprint arXiv:2212.10525},
year = {2023}
}
备注
accepted in ACL 2023 (long paper)