基于具身智能的超声手术干预变革

超声诊断已彻底改变了无创诊断方法，显著提升了 various medical 领域的患者预后。尽管已取得显著进展，但将超声技术与机器人系统集成用于自动扫描仍面临挑战，包括指令理解有限和动态执行能力不足。为此，本文提出一种新型超声具身智能系统，通过与大型语言模型（LLMs）和领域特定知识增强相结合，实现了超声机器人的智能化和操作效率提升。我们的方法采用双重策略：首先，将LLMs集成到超声机器人中，通过全面理解超声领域知识（包括API和操作手册），将医生的口头指令解释为精确的运动规划；其次，纳入动态执行机制，允许根据患者运动或程序错误进行实时调整扫描计划。我们通过大量实验（包括消融研究和与各种模型的比较）展示了该系统的有效性，显著提高了从口头指令执行医学程序的效率和质量。我们的发现表明，所提出的系统改进了超声扫描的效率和质量，为进一步的自主医疗扫描技术发展开辟了道路，潜在能够变革非侵入性诊断并优化医疗工作流程。