面向以事实核查组织为中心的人类中心数据科学工作中的开放生成模型影响：案例研究

呼吁在学术研究中使用开放生成式语言模型的倡议凸显了科学研究中可重复性和透明度的需求。然而，生成式 AI 的影响远超学术界，企业和公共利益组织已开始将这些模型整合到其数据科学管道中。我们将视角扩展到包括开放模型对组织的影响，具体聚焦于事实核查组织——这些组织使用 AI 来观察和分析大量流动虚假信息，同时必须确保其工作的可重复性和中立性。我们希望了解事实核查组织在其数据科学管道中使用开放模型的场景；他们使用开放模型或专有模型的动机；以及他们使用开放或专有模型如何能为生成式 AI 的社会影响研究提供信息。为回答这些问题，我们对来自 20 个位于六大洲的事实核查组织的 24 名专业人员进行了访谈调研。基于这些访谈，我们提出了事实核查组织在其数据科学管道中应用生成式 AI 的五组件概念模型，包括数据摄取、数据分析、数据检索、数据交付和数据共享。随后，我们提供了事实核查组织使用开放模型动机的分类，以及阻止其进一步采用开放模型的限制，发现他们因组织自主性、数据隐私和所有权、应用特定性和能力透明度而倾向于使用开放模型。然而，他们仍使用专有模型是因为在性能、可用性和安全性方面存在感知优势，以及参与新兴生成式 AI 生态系统的机会成本。我们的工作为数据驱动组织中的开放模型提供了新视角。