面向语言建模的端到端规划器训练

通过端到端训练来预测下一个标记，大型语言模型（LLM）已成为 various 任务中宝贵工具的。通过增强其在语言建模中的核心训练，可以提高诸多下游应用的性能。一种成功的增强语言建模的方法是使用独立的规划模块来预测未来句子的抽象标签，并以这些预测结果作为条件来增强语言模型。然而，这种方法是不可微的，阻止了规划器与语言模型进行联合端到端调优。我们提出了一种有效的方法来改进这一方法，通过启用规划器与语言模型的联合微调。我们展示了通过直捣估计（straight-through estimator）近似选择标签梯度的简单方法并不有效。相反，我们提出使用预测标签概率作为混合权重，以可微的方式将语言模型条件化于标签嵌入的加权平均。这种方法不仅使规划器与语言模型能够联合微调，还允许语言模型从规划器预测的完整标签分布中获取信息，保留更多信息。我们的实验结果表明，在困惑度方面实现了持续的改进。