面向文本生成的 Graphmax 函数

在文本生成中，大型语言模型 (LM) 仅基于其上下文的前序词选择，利用 softmax 函数对每个新词做出选择。然而，基于特定场景语料的共现词的链接统计信息在选择下一个词时是有价值的，它有助于确保所生成文本的主题与当前任务对齐。为充分挖掘共现信息，我们提出了一种用于任务特定文本生成的 graphmax 函数。利用基于图的正则化，graphmax 使最终词选择由来自 LM 的全局知识和来自场景特定语料的局部知识共同决定。传统的 softmax 函数被图全变差 (GTV) 项正则化，该项将局部知识融入 LM 并鼓励模型考虑场景特定语料中词之间的统计关系。所提出的 graphmax 具有通用性，可轻松插入任何大型预训练 LM 中用于文本生成和机器翻译。通过大量实验，我们证明与现有方法相比，这种新的基于 GTV 的正则化能在各种自然语言处理任务中提升性能。此外，通过人工实验，我们观察到参与者能够轻易区分由 graphmax 或 softmax 生成的文本。