通过可能性探索微调提升大语言模型的语言多样性
计算与语言
2024-12-05 v1 人工智能
摘要
尽管大语言模型（LLM）在模仿人类能力方面取得了显著进展，但存在其输出语言多样性降低的担忧。这导致观点和视角的同质化，以及特定人群的代表性不足。虽然已提出多种微调和提示技术来解决此问题，但这些技术通常针对特定任务，或会导致计算成本和延迟显著增加。这使得它们难以应用于需要极低延迟的应用，如聊天机器人和虚拟助手。我们提出了可能性探索微调（PEFT），这是一种无需增加延迟或计算成本即可提升LLM文本多样性的任务无关框架。对于相同的提示，经PEFT微调后的模型可以同时生成多个多样化的响应，每种响应对应可控制的可能性数值。在对话和故事生成任务上的实验表明，PEFT显著提升了LLM输出的多样性，证据在于候选响应之间的相似性显著降低。由于PEFT强调语义多样性而非词汇多样性，它还能显著降低对话系统中的人口统计偏见。我们的实现和数据集已公开在我们的存储库中：https://github.com/mailong25/peft_diversity。
引用
@article{arxiv.2412.03343,
title = {Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning},
author = {Long Mai and Julie Carson-Berndsen},
journal= {arXiv preprint arXiv:2412.03343},
year = {2024}
}