PulseMind：面向真实世界临床诊断的多模态医疗模型
计算机视觉与模式识别
2026-01-13 v1 人工智能
摘要
近期医学多模态模型的进展集中于专业图像分析，如皮肤病学、病理学或放射学。然而，它们并未完全捕捉真实世界临床诊断的复杂性，后者涉及异构输入，并需要在医患互动过程中持续进行上下文理解。为弥合这一差距，我们引入了PulseMind，一个新的多模态诊断模型系列，整合了系统策划的数据集、全面的评估基准和定制化训练框架。具体而言，我们首先构建了一个诊断数据集MediScope，包含98,000次真实世界的多轮咨询和601,500张医学图像，覆盖超过10个主要临床科室和200多个亚专科。然后，为更好地反映真实世界临床诊断的需求，我们开发了PulseMind基准，一个多轮诊断咨询基准，采用包含主动性、准确性、有用性和语言质量四个维度的评估协议。最后，我们设计了一个针对多模态临床诊断定制的训练框架，其核心组件名为基于比较的强化策略优化（CRPO）。与绝对分数奖励相比，CRPO利用多维比较中的相对偏好信号，提供稳定且与人类对齐的训练指导。大量实验表明，PulseMind在诊断咨询基准和公共医学基准上均取得了有竞争力的性能。
引用
@article{arxiv.2601.07344,
title = {PulseMind: A Multi-Modal Medical Model for Real-World Clinical Diagnosis},
author = {Jiao Xu and Junwei Liu and Jiangwei Lao and Qi Zhu and Yunpeng Zhao and Congyun Jin and Shinan Liu and Zhihong Lu and Lihe Zhang and Xin Chen and Jian Wang and Ping Wang},
journal= {arXiv preprint arXiv:2601.07344},
year = {2026}
}
备注
Accepted to AAAI 2026