智能体口语语言理解中的无监督迁移学习
计算与语言
2018-11-14 v1 人工智能
机器学习
机器学习
摘要
用户与语音驱动智能体的交互产生了大量无标注话语。本文探讨高效将这些无标注话语中的知识迁移以提升口语语言理解（SLU）任务模型性能的技术。我们利用语言模型嵌入（ELMo）通过学习上下文化词表示来利用无标注数据。此外，我们提出 ELMo-Light（ELMoL），一种更快速且更简单的 SLU 无监督预训练方法。我们的结果表明，相较于从头训练，在大规模无标注话语语料上的无监督预训练可显著改善 SLU 性能，甚至可超越常规有监督迁移。另外，我们展示无监督迁移技术的收益可通过有监督迁移进一步提升。在资源匮乏场景及仅使用 1000 个标注领域内样本时，我们的技术匹配了以 10–15 倍更多标注领域内数据从头训练的性能。
引用
@article{arxiv.1811.05370,
title = {Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents},
author = {Aditya Siddhant and Anuj Goyal and Angeliki Metallinou},
journal= {arXiv preprint arXiv:1811.05370},
year = {2018}
}
备注
To appear at AAAI 2019