用深度分离网络解析重叠生物体图像

本工作源于解析具有多个重叠铰接式模式生物（如线虫或幼虫）的生物图像这一大多尚未解决的任务。我们提出了一种通用方法，将与此类数据相关的两个主要挑战——个体对象形状估计和对象群分离——分离开来。该方法的核心是一个深度前馈分离网络（SON），它被训练为将每个局部图像块映射到一个向量描述符，该描述符对中心对象的特征（如形状）敏感，同时对周围所有其他元素的变异性保持不变。给定一个 SON，一个局部图像块可以使用其 SON 描述符与一个孤立元素库进行匹配，从而产生关于该图像块中中心元素形状的假设。然后，基于整数规划的图像级优化可以挑选出一个假设子集来解释（解析）整个图像并分离生物体群。虽然与现有的“综合分析”方法有许多相似之处，但我们的方法避免了在测试时进行高维配置空间中的随机搜索和大量的渲染操作。我们展示了我们的方法即使在生物体之间显著拥挤和重叠的情况下，也能解析三种流行模式生物（秀丽隐杆线虫、果蝇幼虫和大肠杆菌）的显微图像。我们推测，该整体方法适用于更广泛的、涉及拥挤铰接式对象的图像解析问题，对于这些问题，渲染训练图像是可能的。