面向动态可控文本生成的连续语言模型插值

随着大语言模型（LLM）在各种用例中的普及，使其具备适应性和可控性变得日益重要，尤其是对于面向用户的应用。尽管关于 LLM 适应性的现有文献主要集中于寻找优化单一预定义目标的一个或多个模型，但本文关注的是模型必须动态适应多样化且经常变化的用户偏好这一极具挑战性的场景。为此，我们利用基于线性权重插值的适应方法，将其转化为连续的多域插值器，以即时生成具有特定预设生成特征的模型。具体而言，我们使用低秩更新将基础模型微调至各种不同领域，从而生成一组具有不同生成特征的锚点模型。然后，我们利用这些锚点模型的权重更新来参数化包含在其凸包内的整个（无限）模型类。我们通过实验证明，改变插值权重能够使模型输出在所有受控属性方面产生可预测且一致的变化。我们发现大多数属性之间几乎没有纠缠，并识别和讨论了不存在此情况的属性对。我们的结果表明，在微调模型的权重之间进行线性插值，有助于实现对模型输出在多个风格特征上同时进行可预测的、细粒度的控制。