用于显微图像重建的增强等变注意力网络

获取高质量或高分辨率电子显微镜(EM)和荧光显微镜(FM)图像耗时且昂贵。获取这些图像甚至可能对样本有侵入性，并在为实现高质量或高分辨率通常所需的长时间或强曝光后损坏样本中的某些细微结构。深度学习的进展使我们能够执行各类显微图像重建的图像到图像转换任务，从物理获取的低成本图像计算生成高质量图像。当在实验获取的显微图像对上训练图像到图像转换模型时，先前的模型由于无法捕获图像间依赖关系和图像间共享特征而存在性能损失。现有利用图像分类任务中共享特征的方法无法恰当应用于图像重建任务，因为它们未能保持空间置换下的等变性质，而这是图像到图像转换中至关重要的。为解决这些局限，我们提出增强等变注意力网络(AEANets)，其能更好地捕获图像间依赖关系，同时保持等变性质。所提AEANets通过注意力机制上的两种增强（即训练期间的共享参考和批感知注意力）来捕获图像间依赖关系和共享特征。我们从理论上推导了所提增强注意力模型的等变性质，并通过实验在定量和视觉结果上证明了其相对于基线方法的一致优越性。