创造力已离开聊天：语言模型去偏的代价
计算与语言
2024-06-11 v1 人工智能
摘要
大型语言模型（LLM）彻底改变了自然语言处理，但可能表现出偏见并生成有害内容。虽然像基于人类反馈的强化学习（RLHF）这样的对齐技术减少了这些问题，但它们对创造力（定义为句法和语义多样性）的影响仍未得到探索。我们通过三个专注于Llama-2系列的实验，研究了RLHF对LLM创造力的意外后果。我们的研究结果表明，对齐模型在令牌预测中表现出较低的熵，在嵌入空间中形成不同的簇，并趋向于“吸引子状态”，表明输出多样性受限。我们的发现对依赖LLM进行文案撰写、广告创作和客户角色生成等创造性任务的营销人员具有重要意义。在为特定应用选择合适模型时，应仔细考虑对齐模型中一致性与创造力之间的权衡。我们还讨论了提示工程在利用基础模型创造潜力方面的重要性。
引用
@article{arxiv.2406.05587,
title = {Creativity Has Left the Chat: The Price of Debiasing Language Models},
author = {Behnam Mohammadi},
journal= {arXiv preprint arXiv:2406.05587},
year = {2024}
}