EchoAgent：面向可靠心脏彩超声解读的智能体系统
摘要
可靠的心脏彩超声（Echo）解读对于评估心脏功能至关重要，这需要临床医生同步协调多项能力，包括视觉观察（eyes）、手动测量（hands）以及专家知识学习与推理（minds）。虽然当前的任务特定深度学习方法和多模态大型语言模型通过自动化分割或推理在辅助 Echo 分析方面显示出前景，但它们仅关注受限技能，即 eyes-hands 或 eyes-minds，从而限制了临床可靠性和实用性。为此，我们提出 EchoAgent，一个为 Echo 解读量身定制的智能体系统，实现了全程协调的 eyes-hands-minds 工作流程，使其能够像心脏超声医生一样学习、观察、操作和推理。首先，我们引入一种以专长为驱动的认知引擎，使代理能够自动将可信的 Echo 指南整合到结构化知识库中，从而构建出针对 Echo 的定制化思维。其次，我们设计了分层协作工具，使 EchoAgent 具备 eyes-hands 能力，能够自动解析 Echo 视频流、识别心脏视图、进行解剖分割和量化测量。最后，我们将感知到的多模态证据与独家知识库集成到一个协调式推理中心，用于进行可解释推理。我们在 CAMUS 和 MIMIC-EchoQA 数据集上对 EchoAgent 进行评估，这些数据集涵盖了 48 种不同的心脏彩超声视图，涉及 14 个心脏解剖区域。实验结果表明，EchoAgent 在 diverse structure analyses 中实现了最佳性能，综合准确率可达 80.00%。重要的是，EchoAgent 使单个系统具备了学习、观察、操作和推理如同心脏彩超声医生般的能力，这在可靠的 Echo 解读方面具有巨大的前景。
引用
@article{arxiv.2604.05541,
title = {EchoAgent: Towards Reliable Echocardiography Interpretation with "Eyes","Hands" and "Minds"},
author = {Qin Wang and Zhiqing He and Yu Liu and Bowen Guo and Zeju Li and Miao Zhao and Wenhao Ju and Zhiling Luo and Xianhong Shu and Yi Guo and Yuanyuan Wang},
journal= {arXiv preprint arXiv:2604.05541},
year = {2026}
}
备注
Accepted by CVPR 2026 CV4Clinical, 11 pages, 6 figures