双向生成式专利语言模型的有效性

生成式专利语言模型可帮助人类更有效地撰写专利文本。问题在于如何从以人为中心的视角衡量有效性，以及如何提升有效性。本稿件提出了一种简化的自动补全功能设计，将有效性提升了逾 10%。采用新设计后，自动补全的有效性可达逾 60%，这意味着逾 60% 的按键操作可通过自动补全节省。由于撰写专利文本未必从头至尾顺序进行，一个问题是生成式模型能否在用户从任意位置开始撰写时提供帮助。为回答该问题，本稿件中的生成式模型以双向训练数据进行预训练，从而成为双向生成式模型。由于文本生成为双向，自动补全有效性的计算亦可双向并从文本中任意位置开始。经充分实验，一个关键发现是：对同一文本，模型的自动补全有效性无论计算从何处开始都保持相近。该发现表明，此类双向模型能在用户从任意位置开始撰写时提供相近水平的辅助。