LLM 辩论模拟中的系统性偏差
计算与语言
2024-12-18 v3 人工智能
摘要
大型语言模型（LLM）的出现为构建旨在准确复现人类行为的计算模拟开启了激动人心的可能性。当前研究表明，基于 LLM 的智能体在表现上越来越接近人类，这激发了人们将这些 AI 智能体作为行为研究中人类参与者替代品的兴趣。然而，LLM 是复杂的统计学习器，缺乏直接的演绎规则，这使得它们容易出现意外行为。因此，研究和准确定位人类与基于 LLM 的智能体之间的关键行为差异至关重要。在本研究中，我们强调了 LLM 在模拟人类互动方面的局限性，特别关注 LLM 模拟政治辩论的能力，这些辩论主题是人们日常生活和决策过程中的重要方面。我们的研究结果表明，尽管被指示从特定政治视角进行辩论，LLM 智能体仍倾向于顺从模型固有的社会偏见。这种倾向导致了似乎偏离人类中已确立的社会动态的行为模式。我们使用一种自动自微调方法强化了这些观察，该方法使我们能够操纵 LLM 内部的偏见，并证明智能体随后会与改变后的偏见保持一致。这些结果强调需要进一步研究以开发帮助智能体克服这些偏见的方法，这是创建更真实模拟的关键一步。
引用
@article{arxiv.2402.04049,
title = {Systematic Biases in LLM Simulations of Debates},
author = {Amir Taubenfeld and Yaniv Dover and Roi Reichart and Ariel Goldstein},
journal= {arXiv preprint arXiv:2402.04049},
year = {2024}
}
备注
Published as a conference paper at EMNLP 2024