你的大型语言模型暗地里是公平性拥护者，你应当像对待拥护者一样提示它
计算与语言
2024-02-20 v1 人工智能
摘要
大型语言模型（LLM）的广泛采用凸显了确保其公平性的迫切需求。然而，LLM 经常呈现主导观点，而忽略来自少数群体的替代观点，从而导致潜在偏见。我们假设这些违反公平性的行为发生是因为 LLM 使用代表大多数训练数据的人类性格来表达其观点。对此，我们验证了用特定角色提示 LLM 可以使 LLM 表达多样化的观点。基于这一见解和观察，我们开发了 FairThinking，这是一个旨在自动生成角色的流水线，使 LLM 能够表达多样化的观点以实现公平表达。为了评估 FairThinking，我们创建了一个包含一千个条目的数据集，涵盖三个与公平性相关的主题，并在 GPT-3.5、GPT-4、Llama2 和 Mistral 上进行了实验，以证明其卓越性能。
引用
@article{arxiv.2402.12150,
title = {Your Large Language Model is Secretly a Fairness Proponent and You Should Prompt it Like One},
author = {Tianlin Li and Xiaoyu Zhang and Chao Du and Tianyu Pang and Qian Liu and Qing Guo and Chao Shen and Yang Liu},
journal= {arXiv preprint arXiv:2402.12150},
year = {2024}
}