基于视频分类框架与大语言模型的超声视频诊断智能体 Auto-US
计算机视觉与模式识别
2025-11-12 v1 人工智能
摘要
AI 辅助的超声视频诊断为提高医学影像分析效率与准确性提供了新机会。然而，现有研究在数据集多样性、诊断性能和临床适用性方面仍有限。本研究提出了 Auto-US，一种集成超声视频数据与临床诊断文本的智能诊断代理。为支持该系统，我们构建了 CUV 数据集，包含 495 个超声视频，覆盖五个类别和三个器器，从多个公开数据源聚合而来。我们开发了 CTU-Net，在超声视频分类中取得最先进的性能，准确率达 86.73%。此外，融合大语言模型后，Auto-US 能够生成临床上有意义的诊断建议。最终诊断得分均超过 5 分，经专业临床医生验证。这些结果表明 Auto-US 在实际超声应用中具有有效性与临床潜力。代码与数据已公开：https://github.com/Bean-Young/Auto-US。
引用
@article{arxiv.2511.07748,
title = {Auto-US: An Ultrasound Video Diagnosis Agent Using Video Classification Framework and LLMs},
author = {Yuezhe Yang and Yiyue Guo and Wenjie Cai and Qingqing Ruan and Siying Wang and Xingbo Dong and Zhe Jin and Yong Dai},
journal= {arXiv preprint arXiv:2511.07748},
year = {2025}
}
备注
Under Review