LLM 在艰难抉择中的表现：在两个“正确”选项之间做出选择
计算与语言
2024-12-31 v1
摘要
伦理困境描述的是在涉及相互冲突道德价值观的两个“正确”选项之间的选择。我们对 LLM 处理伦理困境的方式进行了全面评估。具体而言，我们调查了 LLM (1) 在理解伦理困境方面的敏感性，(2) 在道德价值选择上的一致性，(3) 对后果的考虑，以及 (4) 将其响应对齐到在提示中明确或隐式指定的道德价值偏好的能力。drawing inspiration from a leading ethical framework, we construct a dataset comprising 1,730 ethical dilemmas involving four pairs of conflicting values. 我们评估了 20 个著名的 LLM 来自六个系列。我们的实验结果显示：(1) LLM 在主要价值对之间表现出显著的偏好，优先考虑真理而非忠诚，社区而非个人，以及长期而非短期考虑。(2) 较大的 LLM 倾向于支持deontological观点，即使在指定负面后果后仍坚持其行动选择。(3) 明确的指南比情境中的示例更有效地引导 LLM 的道德选择。最后，我们的实验突显了 LLM 在理解不同表述的伦理困境方面的局限性。
引用
@article{arxiv.2412.19926,
title = {Right vs. Right: Can LLMs Make Tough Choices?},
author = {Jiaqing Yuan and Pradeep K. Murukannaiah and Munindar P. Singh},
journal= {arXiv preprint arXiv:2412.19926},
year = {2024}
}