用于数值规范化的位置描述方案

我们提出了一种专门为数字序列量身定制的位置描述方案(PDS),该方案整合了每个数字的位值信息。鉴于子词分词算法的结构局限性,语言模型在处理数值任务时遇到了关键的文本规范化(TN)挑战。我们的方案通过简单的预处理解决了这一挑战,在保持模型架构的同时显著简化了数字规范化,使问题变得易于处理。这简化了任务,并促进了能够从较小数据集学习的更紧凑的生产就绪模型。此外,我们的研究表明,PDS增强了语言模型的算术处理能力,在复杂算术任务上实现了23%到51%的相对准确率提升。我们证明,PDS有效地减轻了神经模型中的致命数值规范化错误,仅需要适量的训练数据,而无需基于规则的有限状态转换器(FST)。我们证明,PDS对于文本转语音和语音识别文本处理都是必不可少的,能够在生产约束下实现有效的TN。