HealthContradict：评估语言模型中生物医学知识冲突的能力
计算与语言
2025-12-03 v1 人工智能
摘要
语言模型如何利用上下文信息来回答健康问题？其响应受到冲突上下文的影响有多大？我们使用 HealthContradict（一个经专家验证的数据集），评估语言模型处理长篇、存在冲突的生物医学上下文环境的能力。该数据集包含 920 个独立实例，每个实例均包含一个与健康相关的提问、一个由科学证据支持的事实性答案，以及两个表立场相冲突的文档。我们考虑多种提示设置，包括正确、错误或冲突的上下文，并衡量其对模型输出的影响。与现有的医学问答评估基准相比，HealthContradict 提供了更大程度的对语言模型上下文推理能力的区分度。我们的实验表明，精调后的生物医学语言模型的优势不仅在于其来自预训练参数化知识，还在于其能够利用正确的上下文，同时抵抗错误的上下文。
引用
@article{arxiv.2512.02299,
title = {HealthContradict: Evaluating Biomedical Knowledge Conflicts in Language Models},
author = {Boya Zhang and Alban Bornet and Rui Yang and Nan Liu and Douglas Teodoro},
journal= {arXiv preprint arXiv:2512.02299},
year = {2025}
}