再思，我们不要一步步思考！零样本推理中的偏见与毒性
计算与语言
2023-06-06 v2
摘要
生成思维链（CoT）已被证明能持续提升大语言模型（LLM）在广泛 NLP 任务上的表现。然而，先前工作主要关注逻辑推理任务（如算术、常识问答）；对于更多样类型的推理，尤其在具社会情境的上下文中，改进是否依然成立仍不清楚。具体地，我们在两个社会敏感领域对零样本 CoT 进行受控评估：有害问题和刻板印象基准。我们发现，在敏感领域中的零样本 CoT 推理显著增加了模型产生有害或不良输出的可能性，该趋势在不同提示格式和模型变体中均成立。此外，我们展示有害 CoT 随模型规模增大而增加，但随指令遵循能力提升而减少。我们的工作表明，零样本 CoT 在社会重要任务上应谨慎使用，尤其当涉及边缘化群体或敏感话题时。
引用
@article{arxiv.2212.08061,
title = {On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning},
author = {Omar Shaikh and Hongxin Zhang and William Held and Michael Bernstein and Diyi Yang},
journal= {arXiv preprint arXiv:2212.08061},
year = {2023}
}
备注
ACL 2023 Main Conference