面向端侧虚拟助手的世界英语语言模型

用于虚拟助手的神经网络语言模型通常依赖于语言、地区，在某些情况下还依赖于设备，这增加了扩展和维护它们的工作量。将一个或多个类别的 NNLM 结合起来是提高可扩展性的一种方法。在这项工作中，我们将英语的区域变体结合起来，为端侧 VA 构建一个“世界英语” NNLM。具体而言，我们研究应用 adapter 瓶颈来建模我们现有生产 NNLM 中特定于方言的特征，并增强多方言基线。我们发现，在建模方言方面，adapter 模块比特化整个子网络更有效。基于这一见解并利用我们生产模型的设计，我们引入了一种新的世界英语 NNLM 架构，该架构满足我们单方言模型在准确率、延迟和内存方面的限制。