用于即插即用属性控制文本生成的QLoRA PEFT模块的输出可组合性
计算与语言
2026-05-13 v1
摘要
参数高效微调（PEFT）技术以全微调成本的一小部分提供任务特定的微调，但需要为每个新任务（组合）单独进行微调。在本文中，我们探索了超越单任务训练/推理的三种泛化方式：(i) 在多个相关数据集的组合上进行训练；(ii) 在推理时，组合单独训练的PEFT模块的权重矩阵；(iii) 在推理时，组合单独训练的PEFT模块的输出。我们在三个不同的LLM上测试了这些方法，以QLoRA作为PEFT技术，并使用三组用于情感控制、主题控制和多属性控制的受控文本生成数据集。我们发现，求和PEFT模块输出是一种特别强大的组合方法，它始终优于或匹配替代方法的性能。即使在单任务测试集上与单任务专用模块进行比较时也是如此，其中三模块输出组合在所有模型的情感控制上平均实现了2个百分点的性能提升。
引用
@article{arxiv.2605.12345,
title = {Output Composability of QLoRA PEFT Modules for Plug-and-Play Attribute-Controlled Text Generation},
author = {Michela Lorandi and Anya Belz},
journal= {arXiv preprint arXiv:2605.12345},
year = {2026}
}