提示驱动的视图无关心超声分析通用模型

用于心脏分析的心超声分割由于图像质量的变异性以及需要处理来自不同标准视图的扫描而耗时且资源密集。虽然当前心超声中的自动分割方法显示出有希望的性能，但它们是在特定扫描视图上训练以分析相应数据。然而，这种解决方案存在局限性，因为所需模型的数量随着标准视图的数量而增加。为了解决这个问题，在本文中，我们提出了一种提示驱动的通用方法，用于视图无关的心超声分析。考虑到标准视图之间的域偏移，我们首先引入了一种称为提示匹配的方法，旨在通过使用预训练视觉模型匹配提示和查询输入嵌入来学习不同视图特定的提示。然后，我们利用预训练的医学语言模型将文本信息与像素数据对齐以实现精确分割。在三个标准视图上的大量实验表明，我们的方法显著优于最先进的通用方法，并且与在同一视图上训练和测试的分割模型相比，达到了相当甚至更好的性能。