利用Reptile改进端到端语音到意图分类
计算与语言
2020-08-06 v1 机器学习
摘要
端到端口语理解（SLU, spoken language understanding）系统相比传统流水线系统具有诸多优势，但收集领域内语音数据以训练端到端系统成本高且耗时。由此产生一个问题：如何用有限数据训练端到端SLU？许多研究者探索了利用其他相关数据源的方法，通常通过在资源丰富的语音识别上预训练模型的部分结构来实现。本文提出使用一种非标准学习算法Reptile来提升SLU模型的泛化性能。尽管Reptile最初是为模型无关元学习提出的，我们认为它也可直接用于学习目标任务，并比常规梯度下降获得更好的泛化能力。本工作中，我们将Reptile应用于端到端语音意图分类任务。在四种不同语言与领域的数据集上的实验表明，无论单独使用Reptile还是结合预训练使用，意图预测准确率均有提升。
引用
@article{arxiv.2008.01994,
title = {Improving End-to-End Speech-to-Intent Classification with Reptile},
author = {Yusheng Tian and Philip John Gorinski},
journal= {arXiv preprint arXiv:2008.01994},
year = {2020}
}
备注
4 pages + 1 page references, 4 figures, 3 tables, 1 algorithm, accepted for presentation at InterSpeech2020