用于将口语语言理解系统扩展到新语言的大语言模型
计算与语言
2024-04-04 v1
摘要
口语语言理解（SLU）模型是语音助手（VA）的核心组件，例如Alexa、Bixby和Google Assistant。在本文中，我们介绍了一种利用大语言模型（LLM）将SLU系统扩展到新语言的流水线，我们对这些LLM进行了微调，用于槽位标注SLU训练数据的机器翻译。我们的方法在云场景下使用mBERT模型在MultiATIS++基准（一个主要的多语言SLU数据集）上取得了改进。具体来说，与现有最先进方法——粗细粒度多任务学习框架（FC-MTLF）相比，我们在总体准确率指标上从53%提升至62.18%。在设备端场景（小型且未预训练的SLU）中，我们的方法将总体准确率从5.31%提升至22.06%，超过了基线全局-局部对比学习框架（GL-CLeF）方法。与FC-MTLF和GL-CLeF不同，我们基于LLM的机器翻译不需要改变SLU的生产架构。此外，我们的流水线是槽位类型无关的：它不需要任何槽位定义或示例。
引用
@article{arxiv.2404.02588,
title = {Large Language Models for Expansion of Spoken Language Understanding Systems to New Languages},
author = {Jakub Hoscilowicz and Pawel Pawlowski and Marcin Skorupa and Marcin Sowański and Artur Janicki},
journal= {arXiv preprint arXiv:2404.02588},
year = {2024}
}
备注
Code and info on model checkpoint are available at https://github.com/Samsung/MT-LLM-NLU