用于压缩感知的优化启发交叉注意力Transformer
计算机视觉与模式识别
2023-04-28 v1 图像与视频处理
摘要
通过将某些优化求解器与深度神经网络集成，具有良好可解释性和高性能的深度展开网络（DUN）在压缩感知（CS）中引起了越来越多的关注。然而，现有的DUN通常以大量参数为代价来提高视觉质量，并且在迭代过程中存在特征信息丢失的问题。在本文中，我们提出了一个作为迭代过程的优化启发交叉注意力Transformer（OCT）模块，从而形成了一个用于图像CS的轻量级基于OCT的展开框架（OCTUF）。具体来说，我们设计了一个新颖的双交叉注意力（Dual-CA）子模块，它由一个惯性供给交叉注意力（ISCA）块和一个投影引导交叉注意力（PGCA）块组成。ISCA块引入了多通道惯性力，并通过相邻迭代之间的交叉注意力机制增加了记忆效应。并且，PGCA块实现了增强的信息交互，它通过交叉注意力块将惯性力引入梯度下降步骤。大量的CS实验表明，与最先进的方法相比，我们的OCTUF在训练复杂度较低的情况下取得了优越的性能。代码可在 https://github.com/songjiechong/OCTUF 获取。
引用
@article{arxiv.2304.13986,
title = {Optimization-Inspired Cross-Attention Transformer for Compressive Sensing},
author = {Jiechong Song and Chong Mou and Shiqi Wang and Siwei Ma and Jian Zhang},
journal= {arXiv preprint arXiv:2304.13986},
year = {2023}
}
备注
CVPR 2023