MedConsultBench：用于医学咨询代理的全流程、细粒度、过程感知基准
人工智能
2026-01-21 v1
摘要
当前对医学咨询代理的评估常侧重于结果导向任务，忽略了真实世界实践中至关重要的端到端过程完整性和临床安全。虽然近期的交互式基准引入了动态情景，但往往碎片化且粗粒度，无法捕捉专业咨询中所需的结构化询问逻辑和诊断严谨性。为弥合这一差距，我们提出 MedConsultBench，一个全面的框架，用于评估完整的在线咨询周期，覆盖从病史采集、诊断到治疗规划及后续问答的整个临床工作流程。我们的 methodology 引入原子信息单元 (AIU)，以子回合水平跟踪临床信息获取，通过 22 项细粒度指标实现精确监控，关键事实是如何通过 AIU 被提取的。通过解决在线咨询中固有的模糊性和不确定性，基准评估 uncertainty-aware 且简洁的询问，同时强调药物方案的兼容性以及处理现实中术后后续问答的能力，通过约束尊重的计划修订。对 19 个大型语言模型的系统评估揭示了，高诊断准确率常常掩盖了在信息收集效率和药物安全方面的显著缺陷。这些结果凸显了理论医学知识与临床实践能力之间的关键差距，确立了 MedConsultBench 作为与真实世界临床护理细微要求相匹配的严格基础。
引用
@article{arxiv.2601.12661,
title = {MedConsultBench: A Full-Cycle, Fine-Grained, Process-Aware Benchmark for Medical Consultation Agents},
author = {Chuhan Qiao and Jianghua Huang and Daxing Zhao and Ziding Liu and Yanjun Shen and Bing Cheng and Wei Lin and Kai Wu},
journal= {arXiv preprint arXiv:2601.12661},
year = {2026}
}