利用含噪声少样本示例进行意图与槽标签元学习的分类
计算与语言
2020-12-15 v1
摘要
近来深度学习已主导诸多机器学习领域，包括口语理解(SLU)。然而，深度学习模型以数据饥渴著称，且经过重度优化的模型通常对所给训练示例的质量及训练与推理条件间的一致性敏感。为提升SLU模型在含噪声且训练资源匮乏任务上的性能，我们提出一项新SLU基准任务：少样本鲁棒SLU，其中SLU包含两个核心问题，即意图分类(IC)与槽标注(SL)。我们通过在三个公开IC/SL数据集ATIS、SNIPS与TOP上定义少样本划分，并向划分添加两类自然噪声（自适应示例缺失/替换与模态失配）来建立该任务。我们进一步提出一种基于原型网络的新型噪声鲁棒少样本SLU模型。我们表明，在取得更优IC准确率与SL F1、且在噪声存在时产生更小性能波动方面，该模型一致优于常规微调基线及另一流行元学习方法——模型无关元学习(Model-Agnostic Meta-Learning, MAML)。
引用
@article{arxiv.2012.07516,
title = {Meta learning to classify intent and slot labels with noisy few shot examples},
author = {Shang-Wen Li and Jason Krone and Shuyan Dong and Yi Zhang and Yaser Al-onaizan},
journal= {arXiv preprint arXiv:2012.07516},
year = {2020}
}
备注
accepted by IEEE Spoken Language Technology Workshop, 2021