利用多个ASR假设提升国际化NLU性能
计算与语言
2020-12-15 v2 人工智能
摘要
当前的语音助手通常使用其自动语音识别 (ASR) 模块产生的最佳假设作为其自然语言理解 (NLU) 模块的输入，从而丢失了可能存储在较低排名 ASR 假设中的有用信息。我们探讨了在两种语言数据集（德语和葡萄牙语）中，利用五佳 ASR 假设与现状相比时 NLU 相关任务性能的变化。为了从五佳 ASR 假设中获取信息，我们在领域分类 (DC) 实验中利用抽取式摘要和联合抽取-抽象摘要模型，同时在意图分类 (IC) 和命名实体识别 (NER) 多任务实验中使用带有指针生成网络的序列到序列模型。对于 DC 完整测试集，我们观察到德语和葡萄牙语的微平均 F1 分数分别显著提升了 7.2% 和 15.5%。在最佳 ASR 假设与转录话语不完全匹配的情况下（不匹配测试集），我们看到德语和葡萄牙语的微平均 F1 分数分别提升了 6.7% 和 8.8%。对于 IC 和 NER 多任务实验，在不匹配测试集上评估时，我们看到德语在所有领域均有提升，而葡萄牙语在 19 个领域中的 17 个领域有提升（提升基于 SeMER 分数的变化）。我们的结果表明，与仅使用一个假设相比，使用多个 ASR 假设可以显著提升这些非英语数据集在 DC 任务上的性能。此外，在 ASR 模型出错的情况下，它也可能显著提升 IC 和 NER 任务的性能。
引用
@article{arxiv.2012.04099,
title = {Using multiple ASR hypotheses to boost i18n NLU performance},
author = {Charith Peris and Gokmen Oz and Khadige Abboud and Venkata sai Varada and Prashan Wanigasekara and Haidar Khan},
journal= {arXiv preprint arXiv:2012.04099},
year = {2020}
}
备注
9 pages, 4 Figures, 5 Tables, Accepted to ICON 2020 (17th International Conference on Natural Language Processing)