Claude AI 健康引用中的权威信号:基于权威信号框架的描述性分析
计算机与社会
2026-05-26 v1 人工智能
摘要
本研究旨在确定Anthropic的Claude AI在回答消费者健康问题时呈现来源所采用的权威信号。尽管关于LLM生成健康引用质量的讨论已广泛存在,但关于引用来源来源可信度,以及这些来源是否来自健康专业人士认为可信的来源方面信息有限。本描述性横断面研究使用来自Google Research策划的3,172个消费者健康问题的数据集HealthSearchQA。经过剔除后,最终数据集包含3,075个问题,产生10,038个引用。应用权威信号框架(Jacques 等,2026)对10个权威信号在四个领域中进行分析,对542个来源进行比例分层抽样。 established 机构来源占所有引用(n = 9,818)的97.8%。医疗机构是最常引用的组织类型(36.5%),其后是政府资源(31.6%)和专业协会(28.4%)。商业健康信息仅占2.2%(n = 220)。前10大组织占所有引用的57.8%,Mayo Clinic alone alone 代表24.7%。在聚焦样本中,86.4%的商业来源显示医学审查声明,82.5%使用模式标记,71.8%拥有全面内容;而传统机构来源在Claude的引用中可能带有或不带有这些相同标记。随着Anthropic将Claude定位为面向HIPAA就绪 healthcare 应用的AI,本研究为Claude的引用行为奠定了基线,并展示了权威信号框架作为跨平台评估AI中介健康信息的工具之用。
引用
@article{arxiv.2605.23921,
title = {Authority Signals in Claude AI Health Citations: A Descriptive Analysis Using the Authority Signals Framework},
author = {Erin T. Jacques and Erela Datuowei and Elizabeth Quaye and Corey H. Basch and Arijit Chatterjee and Juanita Davis},
journal= {arXiv preprint arXiv:2605.23921},
year = {2026}
}
备注
10 pages, 2 figures, 2 tables