TESS 2：大规模通用扩散语言模型

我们推出了TESS 2，一种遵循通用指令的扩散语言模型，其表现优于当代经过指令微调的扩散模型，并且匹配甚至有时超越强大的自回归（AR）模型。我们训练TESS 2的方法是：首先通过以常规交叉熵作为扩散损失对强大的AR模型进行持续预训练以实现适配，随后进行进一步的指令微调。我们发现，适配训练以及基础模型的选择对于训练优秀的遵循指令的扩散模型至关重要。我们进一步提出了奖励引导（reward guidance），这是一种新颖且模块化的推理时引导过程，无需训练底层模型即可对齐模型输出。最后，我们表明TESS 2随着推理时计算量的增加而进一步提升，突显了扩散语言模型在推理时能够对计算量进行细粒度控制的实用性。代码和模型可在https://github.com/hamishivi/tess-2获取。