用于图像恢复的 Key-Graph Transformer

Bin Ren; Yawei Li; Jingyun Liang; Rakesh Ranjan; Mengyuan Liu; Rita Cucchiara; Luc Van Gool; Nicu Sebe

用于图像恢复的 Key-Graph Transformer

计算机视觉与模式识别 2024-02-07 v1 机器学习图像与视频处理

作者: Bin Ren , Yawei Li , Jingyun Liang , Rakesh Ranjan , Mengyuan Liu , Rita Cucchiara , Luc Van Gool , Nicu Sebe

摘要

虽然捕捉全局信息对于有效的图像恢复（IR）至关重要，但将此类线索整合到基于 Transformer 的方法中计算成本高昂，尤其是在高输入分辨率下。此外，Transformer 中的自注意力机制倾向于考虑来自不相关对象或区域的不必要全局线索，从而引入计算低效性。为应对这些挑战，本文提出了 Key-Graph Transformer (KGT)。具体而言，KGT 将图像块特征视为图节点。所提出的 Key-Graph 构造器通过选择性连接关键节点而非所有节点，高效地构建了一个稀疏且具有代表性的 Key-Graph。随后，所提出的 Key-Graph 注意力仅在选定节点之间、在 Key-Graph 的指导下进行，在每个窗口内具有线性计算复杂度。在 6 项 IR 任务上的大量实验证实了所提出的 KGT 的最先进（SOTA）性能，展示了其在定量和定性方面的进步。

关键词

图像恢复 Key-Graph Transformer 稀疏图自注意力线性复杂度全局信息基于 Transformer 的方法

引用

@article{arxiv.2402.02634,
  title  = {Key-Graph Transformer for Image Restoration},
  author = {Bin Ren and Yawei Li and Jingyun Liang and Rakesh Ranjan and Mengyuan Liu and Rita Cucchiara and Luc Van Gool and Nicu Sebe},
  journal= {arXiv preprint arXiv:2402.02634},
  year   = {2024}
}

备注

9 pages, 6 figures

用于图像恢复的 Key-Graph Transformer

摘要

关键词

引用

备注

相关论文