用于显微图像虚拟染色的全局像素 Transformer

可视化不同细胞结构的细节对于阐明细胞功能至关重要。然而，由于复杂的细胞环境，直接获取不同结构的高质量图像具有挑战性。荧光染色是一种标记不同结构的流行技术，但存在若干缺点。特别是，标记染色耗时且可能影响细胞形态，且同时标记在本质上受限。这提出了构建计算模型以学习未标记显微图像与标记荧光图像之间的关系，并推断其他显微图像的荧光标记而排除物理染色过程的需求。我们提出开发一种用于未标记显微图像虚拟染色的新型深度模型。我们首先提出一种新颖的网络层，称为全局像素 transformer 层，其有效地融合来自输入的全局信息。所提出的全局像素 transformer 层可生成任意维度的输出，并可用于所有常规、下采样和上采样算子。我们随后将提出的全局像素 transformer 层与密集块结合以构建类似 U-Net 的网络。我们相信这样的设计可促进层间特征复用。此外，我们提出多尺度输入策略以鼓励网络捕获不同尺度的特征。我们在各种荧光图像预测任务上进行评估，以证明我们方法的有效性。定量与定性结果均表明，我们的方法显著优于最先进（state-of-the-art）方法。还表明我们提出的全局像素 transformer 层有助于改善荧光图像预测结果。