MillStone：大语言模型有多开放？

配备Web搜索、信息检索工具和其他agentic能力的大型语言模型正在取代传统搜索引擎。随着用户开始依赖LLM获取涉及各种话题、包括有争议和可辩论问题的信息，重要的是了解LLM输出中所表达的立场和意见如何受其用作信息来源的文档的影响。在本文中，我们提出了MillStone，这是第一个旨在系统性测量外部论点对LLM在争议性问题（并非所有问题都涉及政治）上所采取立场效果的基准。我们将MillStone应用于九个领先的LLM，测量它们对支持这些问题相对立方面论点的“开放度”，不同的LLM之间是否达成一致，LLM最find哪些论点有说服力，以及这些论点是否相同。总体而言，我们发现LLM在大多数问题上都较为开放。权威信息来源可以轻易改变LLM的立场，这凸显了源选择的重要性以及LLM基于信息检索和搜索系统可能受到操纵的风险。