从扫描准则到行动：基于LLM推理的机器人超声波智能体

机器人超声波相对于自由手扫描具有优势，包括 improved reproducibility and reduced operator dependency。在临床实践中，US 收集严重依赖于 sonographer 的经验和 situational judgment。当将这一过程转移到机器人系统时，这些 expertise 通常通过固定程序和 task-specific models 显式编码，导致难以适应 new scanning tasks 的管道。本文我们提出一个 unified framework for autonomous robotic US scanning，利用基于LLM的 agent 来解释 US scanning guidelines 并通过动态调用提供的 software tools 执行扫描。与编码固定扫描程序不同，LLM agent 从扫描手册中检索并推理指南步骤，根据观察结果和当前扫描状态动态调整其 planning 决策。这使得系统能够处理 variable and decision-dependent workflows，例如根据 image quality 或解剖发现调整扫描策略、重复步骤或选择 appropriate next tool call。由于 underlying reasoning for tool selection 也至关 transparent and trustworthy planning，我们进一步使用 RL 基于策略 fine tune LLM agent，以提高其 reasoning quality、tool selection and parameterization 的正确性，同时保持对 unseen guidelines and related tasks 的 robust generalization。我们首先通过 verbal execution 在10个 US scanning guidelines 上进行验证，评估了 reasoning、tool selection and parameterization，并展示了 RL fine tuning 的优势。随后我们在机器人扫描 gallbladder、spine and kidney 上演示了实际可行性。总体而言，该框架遵循 diverse guidelines，实现了跨多个解剖靶点的可靠自主扫描。