NATURE：面向真实口语评估的自然辅助文本语句
计算与语言
2022-01-31 v2
摘要
槽填充与意图检测是语音助手等对话智能体的支柱，也是活跃的研究领域。尽管公开基准上的最先进技术展现出令人印象深刻的性能，但其向真实场景泛化的能力尚待验证。本工作中，我们提出NATURE，一组面向口语的简单变换，应用于数据集的评估集，在保留语句语义的同时引入人类口语变化。我们将NATURE应用于常见槽填充与意图检测基准，表明NATURE对标准评估集的简单扰动即可显著恶化模型性能。通过实验我们证明，当NATURE算子应用于流行基准的评估集时，模型准确率可下降多达40%。
引用
@article{arxiv.2111.05196,
title = {NATURE: Natural Auxiliary Text Utterances for Realistic Spoken Language Evaluation},
author = {David Alfonso-Hermelo and Ahmad Rashid and Abbas Ghaddar and Philippe Langlais and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:2111.05196},
year = {2022}
}
备注
20 pages, 4 figures, accepted to NeurIPS 2021 Track Datasets and Benchmarks