集成生成式 AI 与深度强化学习的自主超声扫描端到端框架
计算机视觉与模式识别
2025-11-04 v1 人工智能
机器学习
摘要
心脏超声（US）是心脏健康评估中最常用的诊断工具之一，但其有效性受到操作依赖性、时间限制和人为错误的限制。缺乏有培训的专业人员，尤其是在偏远地区，进一步限制了可及性。这些问题凸显了需要自动化解决方案的需求，以确保无论操作技能或位置如何，都能实现一致且可及的心脏成像。近期的进展，特别是深度强化学习（DRL），已引起关注，因其能够实现自主决策。然而，现有的基于 DRL 的心脏 US 扫描方法缺乏可重复性，依赖专有数据，并使用简化模型。为了弥补这些差距，我们提出了首个集成生成式 AI 与 DRL 以实现自主且可重复心脏 US 扫描的端到端框架。该框架由两个组件组成：(i) 一个条件生成式模拟器，将生成式对抗网络（GANs）与变分自编码器（VAEs）结合，建模心脏 US 环境，产生现实的动作条件图像；(ii) 一个 DRL 模块，利用该模拟器学习自主、准确的扫描策略。该框架交付通过专家验证的模型驱动的指南，包括图像类型分类和质量评估，支持生成现实的 US 图像，并为其他器官建立可重复的基础。为确保可重复性，发布了可公开获取的真实心脏 US 扫描数据集。通过几项实验进行了验证。VAE-GAN 被与现有 GAN 变体进行基准测试，采用定性和定量方法进行评估，而基于 DRL 的扫描系统在不同配置下进行评估，以展示其有效性。
引用
@article{arxiv.2511.00114,
title = {End-to-End Framework Integrating Generative AI and Deep Reinforcement Learning for Autonomous Ultrasound Scanning},
author = {Hanae Elmekki and Amanda Spilkin and Ehsan Zakeri and Antonela Mariel Zanuttini and Ahmed Alagha and Hani Sami and Jamal Bentahar and Lyes Kadem and Wen-Fang Xie and Philippe Pibarot and Rabeb Mizouni and Hadi Otrok and Azzam Mourad and Sami Muhaidat},
journal= {arXiv preprint arXiv:2511.00114},
year = {2025}
}