基于大语言模型增强图规划器的仿生机器人助理超声系统USPilot
机器人学
2025-05-30 v2
摘要
在大语言模型（LLMs）时代，仿生人工智能为机器人操作任务带来了变革性机遇。超声成像作为一种广泛使用且成本效益高的医学诊断手段，面临专业超声科医生全球短缺的挑战。为此，我们提出USPilot——一个由LLM驱动的仿生机器人助理超声系统，以实现自动化超声采集。USPilot被设计为虚拟超声科医生，能够响应患者的超声相关查询并基于用户意图执行超声扫描。通过微调LLM，USPilot能够深入理解超声专用问题与任务。此外，USPilot集成LLM增强型图神经网络（GNN），用于管理超声机器人API并作为任务规划器。实验结果表明，LLM增强型GNN在公开数据集上实现了 unprecedented 的任务规划准确率。该系统在自主理解和执行超声程序方面展现出巨大的潜力。这些突破为实现无人或半无人机器人超声系统、弥补医学影像资源差距，迈出了重要一步。
引用
@article{arxiv.2502.12498,
title = {USPilot: An Embodied Robotic Assistant Ultrasound System with Large Language Model Enhanced Graph Planner},
author = {Mingcong Chen and Siqi Fan and Guanglin Cao and Yun-hui Liu and Hongbin Liu},
journal= {arXiv preprint arXiv:2502.12498},
year = {2025}
}