SLUE：面向自然语音口语理解评估的新基准任务
计算与语言
2022-08-01 v3 机器学习
声音
音频与语音处理
摘要
语音处理的进展一直得益于共享数据集与基准。历史上这些资源聚焦于自动语音识别（ASR）、说话人识别或其他底层任务。对包括使用端到端模型在内的高层口语理解任务的兴趣正在增长，但此类任务的标注数据集较少。与此同时，近期工作显示了预训练通用表示然后使用相对较少标注数据微调多个任务的可能性。我们提议创建一套用于口语理解评估（SLUE）的基准任务，由有限规模的标注训练集和相应的评估集组成。该资源可使研究社区追踪进展、评估用于高层任务的预训练表示，并研究如流水线 versus 端到端方法的效用等开放问题。我们呈现了SLUE基准套件的第一阶段，包含命名实体识别、情感分析以及相应数据集上的ASR。我们关注自然产生（非朗读或合成）的语音，以及自由可用的数据集。我们在VoxCeleb和VoxPopuli数据集子集上提供了新的转写与标注、基线模型的评估指标与结果，以及一个用于复现基线并评估新模型的开源工具包。
引用
@article{arxiv.2111.10367,
title = {SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation on Natural Speech},
author = {Suwon Shon and Ankita Pasad and Felix Wu and Pablo Brusco and Yoav Artzi and Karen Livescu and Kyu J. Han},
journal= {arXiv preprint arXiv:2111.10367},
year = {2022}
}
备注
Updated preprint for SLUE Benchmark v0.2; Toolkit link https://github.com/asappresearch/slue-toolkit