Uformer-ICS：一种用于图像压缩感知服务的U形Transformer
图像与视频处理
2024-07-03 v2 密码学与安全
计算机视觉与模式识别
摘要
许多服务计算应用需要从多个设备实时收集数据集，因而需要高效的采样技术以减轻带宽和存储压力。压缩感知(CS)在图像采集与重建中已有广泛应用。近年来，大量深度学习方法被引入CS任务。然而，从测量值中准确重建图像仍是一项重大挑战，尤其在低采样率下。本文中，我们提出Uformer-ICS，一种新颖的U形Transformer，通过将CS的内在特性引入Transformer架构以用于图像CS任务。为利用图像块不均匀的稀疏度分布，我们设计了一种自适应采样架构，基于估计的块稀疏度分配测量资源，使压缩结果保留原始图像的最大信息量。此外，受传统CS优化方法启发，我们引入了多通道投影(MCP)模块。通过将MCP模块集成到Transformer块中，我们构建了基于投影的Transformer块，并利用这些块与残差卷积块形成对称重建模型。因此，我们的重建模型可同时利用图像的局部特征与长程依赖，以及CS理论的先验投影知识。实验结果表明，其重建性能显著优于最先进的基于深度学习的CS方法。
引用
@article{arxiv.2209.01763,
title = {Uformer-ICS: A U-Shaped Transformer for Image Compressive Sensing Service},
author = {Kuiyuan Zhang and Zhongyun Hua and Yuanman Li and Yushu Zhang and Yicong Zhou},
journal= {arXiv preprint arXiv:2209.01763},
year = {2024}
}