具可验证保证的插即式线性注意力用于无训练图像恢复
图像与视频处理
2026-02-06 v2 计算机视觉与模式识别
摘要
多头自注意力(MHSA)是现代视觉 Transformer 中的关键构件，但其在 token 数量上的二次复杂度仍是实时和资源受限部署的主要瓶颈。我们提出 PnP-Nystra，一个基于 Nystr"{o}m 的训练-free 线性注意力模块，旨在作为预训练图像恢复 Transformer 中 MHSA 的插即式替代方案，并具备可验证的核近似误差保证。PnP-Nystra 可直接集成到基于窗口的架构中，如 SwinIR、Uformer 和 Dehazeformer，实现高效推理且无需微调。在图像去噪、去模糊、去雾和超分辨率任务上，PnP-Nystra 在 NVIDIA RTX 4090 GPU 上实现 1.8--3.6 倍加速，在 CPU 推理上实现 1.8--7 倍加速。与我们评估的最强训练-free 线性注意力基线相比，本方法导致的质量损失最小，输出最接近原始模型。
关键词
引用
@article{arxiv.2506.08520,
title = {Plug-and-play linear attention with provable guarantees for training-free image restoration},
author = {Srinivasan Kidambi and Karthik Palaniappan and Pravin Nair},
journal= {arXiv preprint arXiv:2506.08520},
year = {2026}
}