多属性约束满足的语言模型重写
人工智能
2024-12-30 v1
摘要
在多个外部属性之上遵循精确约束是一种常见的计算问题，似乎涉及从受控文本生成到蛋白质工程等不同领域。现有的语言模型（LM）可控性方法对于多属性约束满足往往依赖于专用架构或基于梯度的分类器，限制了其灵活性以便与任意黑盒评估器和预训练模型协同工作。当前通用大型语言模型虽然 Capable，但无法对外部属性实现细粒度的多属性控制。因此，我们提出了多属性约束满足（MACS）方法，这是一种通用方法，能够针对任意序列领域对语言模型进行微调，以满足用户对多个外部实值属性的指定约束。该方法通过从初始的多属性编辑对集合中抽取多样化的编辑对，使 LM 充当编辑器。在推理期间，LM 通过利用设计的约束满足奖励，不断改进自身之前的解决方案，以满足所有属性的约束。我们还实验了基于奖励加权的行为克隆，以进一步提高 LM 的约束满足率。为评估我们的方法，我们提出了新的细粒度约束满足（FineCS）基准，包含两个具有挑战性的任务：（1）文本风格迁移，其中目标是同时修改评论的情感和复杂度；（2）蛋白质设计，专注于调制绿色荧光蛋白（GFP）的荧光和稳定性。我们的实证结果表明，MACS 在两个 FineCS 任务中实现了最高的阈值满足率，超越了强大的领域特定基线。我们的工作为通用且实值多属性控制开辟了新的方向，对涉及NLP和生物信息学的各种应用具有深远意义。
引用
@article{arxiv.2412.19198,
title = {Multi-Attribute Constraint Satisfaction via Language Model Rewriting},
author = {Ashutosh Baheti and Debanjana Chakraborty and Faeze Brahman and Ronan Le Bras and Ximing Lu and Nouha Dziri and Yejin Choi and Mark Riedl and Maarten Sap},
journal= {arXiv preprint arXiv:2412.19198},
year = {2024}
}