伦理推理与大语言模型道德价值对齐取决于我们提示它们的语言
计算与语言
2024-04-30 v1 人工智能
摘要
伦理推理是大语言模型（LLM）的关键技能。然而，道德价值并非普遍存在，而是受语言和文化影响。本文探讨了三大前沿大语言模型——GPT-4、ChatGPT 和 Llama2-70B-Chat——在不同语言中进行伦理推理的方式，以及它们的道德判断是否依赖于提示语言。我们延续 Rao 等人（2023）的研究框架，对 LLM 的伦理推理进行多语言化扩展，遵循其以三大规范伦理分支（deontology、virtue、consequentialism）中的道德困境和政策为基础进行探测实验。我们实验了六种语言：英语、西班牙语、俄语、中文、印地语和斯瓦希里语。我们发现，GPT-4 在跨语言环境中表现为最一致且无偏见的伦理推理者，而 ChatGPT 和 Llama2-70B-Chat 在非英语语言时显示出显著的道德价值偏差。有趣的是，对于所有 LLM 包括 GPT-4，这种偏差的性质在不同语言间存在显著差异。
引用
@article{arxiv.2404.18460,
title = {Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in},
author = {Utkarsh Agarwal and Kumar Tanmay and Aditi Khandelwal and Monojit Choudhury},
journal= {arXiv preprint arXiv:2404.18460},
year = {2024}
}