Gboard 解码器中的神经搜索空间
计算与语言
2024-10-22 v1
摘要
Gboard 解码器通过在由语言有限状态 transducer（FST）支撑的上下文感知搜索空间中查找与输入触点最吻合的路径来生成建议。当前的语言FST是N-gram语言模型（LM）。然而，受设备模型大小限制，N-gram LM已知存在稀疏问题。本文提出了神经搜索空间（Neural Search Space），用神经网络语言模型（NN-LM）取代N-gram LM，并在解码期间动态构建搜索空间。具体而言，我们通过在运行时将其给定上下文的输出转换为语言FST，将NN-LM的长程上下文感知整合到搜索空间中。这涉及语言FST结构的重新设计、剪枝策略的调优以及数据结构的优化。在线实验表明，在各种locale上，质量结果得到改善，将Words Modified Ratio降低至[0.26%，1.19%]，同时延迟增加可接受。本工作为通过增强神经LM更直接地提高键盘解码质量开辟了新的道路。
引用
@article{arxiv.2410.15575,
title = {Neural Search Space in Gboard Decoder},
author = {Yanxiang Zhang and Yuanbo Zhang and Haicheng Sun and Yun Wang and Billy Dou and Gary Sivek and Shumin Zhai},
journal= {arXiv preprint arXiv:2410.15575},
year = {2024}
}
备注
10 pages, 7 figures, 3 tables