Bone Soups：一种用于可控多目标生成的寻骨与熬汤模型合并方法

用户的信息需求通常是高度多样化和多变的。当前研究的一个关键挑战是如何实现可控的多目标生成，同时能够在测试时快速适应以容纳多样化的用户需求。现有的解决方案（如 Rewarded Soup）侧重于合并在单一目标上单独微调的语言模型。虽然这些方法易于实现且被广泛使用，但由于忽视了竞争目标对模型微调的影响，它们在实现最优性能方面面临局限性。为了解决这个问题，我们提出了 Bone Soup，一种新颖的模型合并方法，它首先通过考虑多个目标的影响来寻找一系列骨干模型，然后进行熬汤（即合并骨干模型）。具体而言，Bone Soup 首先使用多目标强化学习为不同目标训练多个骨干模型。每个骨干模型由骨干奖励信号的组合来引导。为了确保这些模型对 Pareto 前沿是最优的，骨干奖励通过将标准奖励函数组合成基向量来精心设计，随后可以通过基于规则的构造方法进行修改。Bone Soup 利用对称循环矩阵映射生成合并系数，用于根据用户偏好合并骨干模型。大量实验结果表明，Bone Soup 在可控多目标生成中表现出强大的可控性和 Pareto 最优性，为在测试时解决多样化的用户需求提供了一种更有效、更高效的方法。