上下文冒充揭示大语言模型的优势与偏见
人工智能
2023-11-28 v2 计算与语言
机器学习
摘要
在日常对话中，人类可以承担不同角色并使其词汇适应所选角色。我们探究 LLMs 在上下文生成文本时是否能承担即冒充不同角色。我们要求 LLMs 在解决视觉和语言任务前假设不同角色。为此，我们在提示前加上与社会身份或领域专长相关联的角色。在多臂老虎机任务中，我们发现假装为不同年龄儿童的 LLMs 复现了人类似的探索发展阶段。在基于语言的推理任务中，我们发现冒充领域专家的 LLMs 表现优于冒充非领域专家的 LLMs。最后，我们测试 LLMs 的冒充在描述不同类别时是否与视觉信息互补。我们发现冒充可提升性能：被提示为鸟类专家的 LLM 比被提示为汽车专家的描述鸟类更好。然而，冒充也能揭示 LLMs 的偏见：被提示为男性的 LLM 比被提示为女性的描述汽车更好。这些发现表明 LLMs 能够承担多样角色，且这种上下文冒充可用于揭示其隐藏的优势与偏见。
引用
@article{arxiv.2305.14930,
title = {In-Context Impersonation Reveals Large Language Models' Strengths and Biases},
author = {Leonard Salewski and Stephan Alaniz and Isabel Rio-Torto and Eric Schulz and Zeynep Akata},
journal= {arXiv preprint arXiv:2305.14930},
year = {2023}
}
备注
Published in NeurIPS 2023 (Spotlight)