边缘设备高效图像修复：将 Transformer 蒸馏至状态空间模型
计算机视觉与模式识别
2026-05-05 v1
摘要
我们提出一种模块化的混合图像修复框架，将 Transformer 和状态空间模型 (SSM) 块集成其中，旨在提高在边缘硬件上的运行效率。虽然 Transformer 通过自注意力机制提供强大的全局建模能力，但其注意力核在移动设备上尤其是高分辨率输入时会造成显著延迟。相比之下，诸如 Mamba 之类的 SSM 采用线性时间序列建模，运行开销较低，但在细粒度修复任务上可能表现不足。为平衡准确性与效率，我们训练轻量级 SSM 块作为 Transformer 块的特征蒸馏替代品，并用于构建混合 U-Net 风格架构。为自动发现有效的模块组合，我们引入高效网络搜索 (ENS)，这是一种多目标搜索策略，从预对齐的组件中选择任务特定的混合配置。ENS 在优化恢复质量的同时惩罚 Transformer 的使用，作为轻量级延迟代理，使架构发现无需重复硬件剖析。在 Snapdragon 8 Elite CPU 上，Restormer 基线推理需要 10119.52 毫秒。相比之下，ENS 发现的混合模型显著降低了运行时间：ENS-Deblurring 推理仅需 2973 毫秒（快 3.4 倍），ENS-Deraining 为 5816 毫秒（快 1.74 倍），ENS-Denoising 为 8666 毫秒（快 1.17 倍），同时保持了具竞争力的修复质量。
关键词
引用
@article{arxiv.2605.02794,
title = {Edge-Efficient Image Restoration: Transformer Distillation into State-Space Models},
author = {Srinivas Soumitri Miriyala and Sowmya Vajrala and Sravanth Kodavanti and Vikram Nelvoy Rajendiran and Sharan Kumar Allur},
journal= {arXiv preprint arXiv:2605.02794},
year = {2026}
}
备注
Preprint