结合可学习频率感知损失先验的分层神经算子 Transformer 用于任意尺度超分辨率
计算机视觉与模式识别
2024-05-21 v1 人工智能
摘要
在这项工作中，我们提出了一种任意尺度超分辨率（SR）方法，以增强科学数据的分辨率，这通常涉及连续性、多尺度物理学和高频信号的复杂性等挑战。基于算子学习，所提出的方法具有分辨率不变性。我们模型的核心是一个分层神经算子，它利用 Galerkin 型自注意力机制，实现了函数空间之间映射的高效学习。Sinc 滤波器用于促进层次结构中不同层级之间的信息传递，从而确保所提出的神经算子中的表示等价性。此外，我们引入了一种源自输入数据频谱缩放的可学习先验结构。这种损失先验与模型无关，旨在动态调整像素贡献的权重，从而在模型中有效地平衡梯度。我们在来自不同领域的多样化数据集上进行了大量实验，并展示出相较于由各种最先进 SR 方法组成的强基线的一致改进。
引用
@article{arxiv.2405.12202,
title = {Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution},
author = {Xihaier Luo and Xiaoning Qian and Byung-Jun Yoon},
journal= {arXiv preprint arXiv:2405.12202},
year = {2024}
}
备注
20 pages, 14 figures