询问 WhAI：探究角色驱动的大语言模型智能体中的信念形成
人工智能
2025-11-20 v1
摘要
我们提出了 Ask WhAI，这是一个用于检测和扰动多智能体交互中信念状态的系统级框架。该框架记录并回放智能体之间的交互，支持对每个智能体信念与论证的跨带查询，并通过引入反事实证据来测试信念结构如何应对新信息。我们将该框架应用于一个以多智能体共享记忆（时间戳电子病历，简称 EMR）和持有真实实验室结果的 oracle 智能体（LabAgent）仅在明确查询时才披露的医学情景模拟器。我们对该系统进行压力测试，针对一位儿童突发发生神经精神病 presenting 的多学科诊断旅程进行测试。每个被强化角色特定先验（"充当神经内科医生"、"充当感染病学专家"）的大语言模型智能体写入共享病历并与主持人进行顺序或并行交互。关键诊断时刻的断点启用前后信念查询，使我们能够区分根深蒂固的先验与推理或证据整合效应。该模拟揭示了智能体信念常常反映现实中的学科立场，包括对规范研究的过度依赖以及对反证据的抵抗，这些信念可以被追踪和 interrogated，而人类专家则无法做到。通过使此类动态可见且可测试，Ask WhAI 提供了一种可复现的方法，用于研究多智能体科学推理中的信念形成与知识孤岛。
引用
@article{arxiv.2511.14780,
title = {Ask WhAI:Probing Belief Formation in Role-Primed LLM Agents},
author = {Keith Moore and Jun W. Kim and David Lyu and Jeffrey Heo and Ehsan Adeli},
journal= {arXiv preprint arXiv:2511.14780},
year = {2025}
}
备注
Preprint. Accepted for publication at AIAS 2025