用于高保真金属透镜成像的像差校正视觉Transformer

金属透镜是一种新兴的光学系统，其不可替代的优势在于可以制造为超薄和紧凑的尺寸，在各种应用中展现出巨大前景。尽管其在小型化方面具有优势，但其实用性受到空间变化的像差和畸变的制约，这些像差和畸变显著降低了图像质量。若干先前工作尝试解决不同类型的像差，但其中大多数主要为传统笨重透镜设计，对金属透镜的严重像差无效。虽然已有专门针对金属透镜的像差校正方法，但它们在恢复质量上仍有所不足。在本工作中，我们提出了一种用于金属透镜捕获图像的新型像差校正框架，利用视觉Transformer（ViT）来恢复具有非均匀像差的金属透镜图像。具体而言，我们设计了多重自适应滤波器引导（MAFG），其中多个维纳滤波器以不同的噪声-细节平衡丰富退化输入图像，一个交叉注意力模块根据不同程度的像差重新加权特征。此外，我们引入了一个空间和转置自注意力融合（STAF）模块，它聚合来自空间自注意力和转置自注意力模块的特征，以进一步改善像差校正。我们进行了广泛的实验，包括校正像差图像和视频以及干净的三维重建。所提出的方法以显著优势超越了先前方法。我们进一步制造了金属透镜，并通过恢复由制造金属透镜捕获的图像来验证我们方法的实用性。代码和预训练模型可在 https://benhenryl.github.io/Metalens-Transformer 获取。