面向大语言模型的轻量级多维度可控文本生成解决方案
计算与语言
2024-10-21 v1 人工智能
摘要
大型语言模型（LLM）在指令调优方面表现出卓越的能力，但在缺乏针对目标任务的高质量指令调优数据时，无法实现理想的任务效果。多维度可控文本生成（MCTG）是这一困境的典型任务，该任务中，维度数据集通常存在偏差和相关性。现有工作通过额外的模型结构和策略进行解决方案，限制了对大语言模型的适应性。为激活大语言模型的MCTG能力，我们提出了基于数据增强的轻量级MCTG管道。我们分析传统数据集中的偏差和相关性，并通过增强的控制属性和句子来解决这些问题。增强后的数据集适用于指令调优。在实验中，经过数据增强后，大语言模型在MCTG任务中的表现得到提升，准确率提升约20%，维度相关性降低。
引用
@article{arxiv.2410.14144,
title = {A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models},
author = {Chenyang Zhang and Jiayi Lin and Haibo Tong and Bingxuan Hou and Dongyu Zhang and Jialin Li and Junli Wang},
journal= {arXiv preprint arXiv:2410.14144},
year = {2024}
}