大语言模型能否为不同人群发声？通过辩论微调大语言模型以生成可控的有争议陈述
计算与语言
2024-06-11 v2 人工智能
机器学习
摘要
使大语言模型能够为不同人群，尤其是少数群体的人发声，并生成支持其多元化乃至有争议观点的陈述，对创造包容性环境至关重要。然而，现有的大语言模型对生成内容的立场缺乏足够的可控性，往往包含不一致、中性或偏见性的陈述。本文改进了大语言模型在生成支持用户在提示中定义的论点陈述方面的可控性。我们发现，两个持相反立场的大语言模型进行多轮辩论，能够生成更高质量、更具代表性的陈述，这些陈述对于提高大语言模型的可控性具有重要意义。基于此，我们开发了一种新颖的辩论与调优（DEBATUNE）管道，对大语言模型进行微调，以生成通过辩论获得的陈述。为评估 DEBATUNE，我们构建了目前为止规模最大的争议话题数据集，涵盖 710 个争议话题及每个话题对应的论点。通过 GPT-4 评判员进行评估，并引入一种新颖的争议可控性指标，结果显示 DEBATUNE 显著提高了大语言模型生成多元化观点能力。此外，这种可控性可以推广到未见的话题上，生成支持有争议论点的高质量陈述。
引用
@article{arxiv.2402.10614,
title = {Can LLMs Speak For Diverse People? Tuning LLMs via Debate to Generate Controllable Controversial Statements},
author = {Ming Li and Jiuhai Chen and Lichang Chen and Tianyi Zhou},
journal= {arXiv preprint arXiv:2402.10614},
year = {2024}
}
备注
ACL2024 findings, Camera-ready