面向专家的个性化实时预测性写作集成方法

在记录笔记或与用户实时聊天时，输入少量字词后补全句子、短语或单词对 Intuit 的金融专家非常有帮助，因为他们每天需多次更高效、准确地书写复杂的金融概念。在本文中，我们将大语言模型、传统马尔可夫模型和字符级模型等不同方法结合起来，构建一个端到端系统，在严格的延迟约束下为专家提供个性化的句子/单词自动补全建议。所提出的系统可在书写时进行个性化句子、短语或单词的自动补全，并且能用极少的数据和资源以良好的效率进行训练。我们提出的系统不仅高效且个性化，而且鲁棒，因为它利用多种机器学习技术以及迁移学习方法，用 Intuit 特定数据微调大语言模型。这确保了即使在罕见或异常短语的情况下，系统也能在近实时中提供相关的自动补全建议。调查显示，该系统节省了专家记录笔记的时间，并提升了专家与队友和客户沟通时的信心。自为 QBLive 专家启用该预测性写作功能以来，基于这些建议已节省超过一百万次按键。我们对集成方案选择进行了对比研究。此外，该功能可在极短时间内集成到任何具备书写功能的产品中。