中文

AI引用健康来源的权威信号:评估ChatGPT响应中来源可信度的框架

数字图书馆 2026-01-27 v1 人工智能

摘要

随着大型语言模型(LLM)的出现,健康信息寻求已根本性地改变。几乎三分之一的ChatGPT用户(约8亿用户)每周询问健康问题。理解这些AI生成响应的来源至关重要,因为健康组织和机构也在数字战略中投入资源,旨在有机方式提升其在LLM系统(如ChatGPT)中的排名、覆盖范围和可见度。随着AI搜索优化策略成熟,本研究引入权威信号框架,组织为四个域,反映健康信息寻求的关键组成部分:从“谁撰写的?”(作者资质),到“谁出版的?”(机构隶属),再到“如何审核的?”(质量保证),以及“AI如何找到的?”(数字权威)。本研究采用描述性横断面方法,从HealthSearchQA中随机抽取100个问题(该数据库包含3173个由Google Research从公开搜索引擎建议中精选的消费者健康问题),将这些问题输入ChatGPT 5.2 Pro,记录并通过权威信号框架的四个域对引用来源进行编码。计算所有引用来源(n=615)的描述性统计,并进行交叉表,以检验不同组织类型的区别。超过75%的来源来自已建立的机构来源,如Mayo Clinic、Cleveland Clinic、Wikipedia、National Health Service、PubMed,剩余引用来源来自缺乏已建立机构支持的替代健康信息来源。

关键词

引用

@article{arxiv.2601.17109,
  title  = {Authority Signals in AI Cited Health Sources: A Framework for Evaluating Source Credibility in ChatGPT Responses},
  author = {Erin Jacques and Erela Datuowei and Vincent Jones and Corey Basch and Celeta Vanderpool and Nkechi Udeozo and Griselda Chapa},
  journal= {arXiv preprint arXiv:2601.17109},
  year   = {2026}
}

备注

24 pages, 4 figures, 1 table. All research materials available at https://doi.org/10.5281/zenodo.18287499