BiomedParse：支持一次性对任意位置进行图像解析的生物医学基础模型

生物医学图像分析是细胞生物学、病理学、放射学及许多其他生物医学领域中进行生物医学发现的基础。整体的图像分析包含相互依赖的子任务，如相关对象的分割、检测和识别。在此，我们提出 BiomedParse，一种用于图像解析的生物医学基础模型，能够跨 9 种成像模态对 82 种对象类型联合进行分割、检测和识别。通过联合学习，我们能够提高单个任务的准确性，并实现新的应用，例如通过文本提示分割图像中的所有相关对象，而无需用户费力为每个对象指定边界框。我们利用这些数据集随附的现成自然语言标签或描述，并使用 GPT-4 将嘈杂、非结构化的文本信息与已建立的生物医学对象本体进行协调。我们创建了一个包含超过 600 万个由图像、分割掩码和文本描述组成的三元组的大型数据集。在图像分割方面，我们证明了 BiomedParse 具有广泛的适用性，在跨 9 种成像模态的 102,855 个测试图像-掩码-标签三元组上优于 SOTA 方法（任意对象）。在旨在定位特定感兴趣对象的对象检测任务上，BiomedParse 再次取得了 SOTA 性能，尤其是在具有不规则形状的对象上（任意位置）。在旨在识别给定图像中所有对象及其语义类型的对象识别任务上，我们证明了 BiomedParse 能够同时分割并标记图像中的所有生物医学对象（一次性）。总而言之，BiomedParse 是一个用于生物医学图像分析的一体化工具，通过联合解决所有主要生物医学成像模态的分割、检测和识别任务，为高效且准确的基于图像的生物医学发现铺平了道路。