用于全色锐化的线性演化 Transformer

视觉 Transformer 家族凭借其核心自注意力机制的全局空间信息建模能力，主导了卫星全色锐化领域。这些有前景的全色锐化方法中，标准的建模规则是以级联方式粗略堆叠 Transformer 变体。尽管取得了显著进展，但其成功可能以巨大的模型参数和 FLOPs 为代价，从而阻碍了其在低资源卫星上的应用。为了应对良好性能与高昂计算量之间的这一挑战，我们量身定制了一种高效的线性演化 Transformer 变体，并利用其构建了轻量级的全色锐化框架。具体而言，我们深入研究了采用前沿方法的流行级联 Transformer 建模，并开发了具有一维线性卷积链的替代性一阶线性演化 Transformer 变体以实现相同功能。这样，我们提出的方法既能受益于级联建模规则，又能以高效的方式实现良好的性能。在多个卫星数据集上的大量实验表明，我们提出的方法以更少的计算资源实现了与其他最先进方法相媲美的性能。此外，该方法的优异性能也在高光谱图像融合任务中得到了验证。我们的主要重点是提供一种具有高效结构的替代性全局建模框架。代码将公开发布。