测量与识别个体对大型语言模型的信任因素

大型语言模型（LLMs）能够进行形似人类的对话交流。尽管对话可以引发用户与 LLMs 之间的信任，但除了 LLMs 的可信度或一般意义上人类对 AI 的信任之外，很少有实证研究考察人机交互（human-LLM）背景下的信任形成。在此，我们引入了 Trust-In-LLMs Index (TILLMI) 作为衡量个体对 LLMs 信任的新框架，将 McAllister 的认知和情感信任维度扩展到 LLM 与人的交互中。我们将 TILLMI 开发为一个心理测量量表，并使用我们称之为“LLM 模拟有效性”的新协议进行了原型设计。随后，该基于 LLM 的量表在 1000 名美国受访者的样本中得到了验证。探索性因子分析识别出了一个双因子结构。随后由于冗余去除了两个条目，最终形成了一个包含 6 个条目的双因子结构量表。在另一个独立子样本上进行的验证性因子分析显示出较强的模型拟合度（$CFI = .995$, $TLI = .991$, $RMSEA = .046$, $p_{X^2} > .05$）。收敛效度分析表明，对 LLMs 的信任与对经验的开放性、外向性和认知灵活性呈正相关，但与神经质呈负相关。基于这些发现，我们将 TILLMI 的因子解释为“与 LLMs 的亲密感”（情感维度）和“对 LLMs 的依赖”（认知维度）。与年长女性相比，年轻男性表现出更高的 LLMs 亲密感和依赖度。与 LLMs 用户相比，没有直接使用 LLMs 经验的个体表现出较低的信任水平。这些发现为衡量对 AI 驱动的言语交流的信任提供了新的实证基础，为负责任的设计提供参考，并促进平衡的人机协作。