用于临床决策支持中右上腹多帧超声自动解读的多任务框架
图像与视频处理
2026-01-21 v1
摘要
超声是急诊和肝胆成像的基石，但其解读仍然高度依赖操作者且时间敏感。在此，我们提出一个多任务视觉-语言代理（VLM），旨在辅助整个诊断工作流程中的全面右上腹（RUQ）超声解读。该系统在一个大型多中心数据集上进行训练，该数据集包含来自约翰霍普金斯医疗机构的主要队列（9,189例，594,099张图像），并在来自斯坦福大学（108例，3,240张图像）和中国一家大型医疗中心（257例，3,178张图像）的队列上进行了外部验证。该代理基于Qwen2.5-VL-7B架构构建，集成了帧级视觉理解与基于报告的语言推理，以执行三项任务：（i）对18种肝胆和胆囊疾病进行分类，（ii）生成临床连贯的诊断报告，以及（iii）基于超声发现和临床数据提供手术决策支持。该模型在所有任务中均达到了高诊断准确性，生成的报告在盲法评估中与专家撰写的版本无法区分，并在基于内容的指标上展示了优越的事实准确性和信息密度。该代理进一步以高精度识别了需要胆囊切除术的患者，支持实时决策。这些结果突显了通用视觉语言模型在改善现实世界超声实践中的诊断一致性、报告效率和外科分诊方面的潜力。
引用
@article{arxiv.2601.12174,
title = {A multitask framework for automated interpretation of multi-frame right upper quadrant ultrasound in clinical decision support},
author = {Haiman Guo and Cheng-Yi Li and Yuli Wang and Robin Wang and Yuwei Dai and Qinghai Peng and Danming Cao and Zhusi Zhong and Thao Vu and Linmei Zhao and Chengzhang Zhu and Christopher Tan and Jacob Schick and Stephen Kwak and Farzad Sedaghat and Javad Azadi and James Facciola and Jonathan Feng and Dilek Oncel and Ulrike Hamper and Alex Zhu and Tej Mehta and Melissa Leimkuehler and Cheng Ting Lin and Zhicheng Jiao and Ihab Kamel and Jing Wu and Li Yang and Harrison Bai},
journal= {arXiv preprint arXiv:2601.12174},
year = {2026}
}