LGFN：基于局部卷积调制和全局注意力特征提取的轻量级光场图像超分辨率
图像与视频处理
2024-09-27 v1 计算机视觉与模式识别
摘要
捕获同一场景中不同强度和方向的光线，光场（LF）可将3D场景线索编码为4D光场图像，具有后期再聚焦和深度感知等广泛应用。光场图像超分辨率（SR）旨在提升受限于光场相机传感器性能的图像分辨率。尽管已有方法取得了令人满意的成果，但由于模型不够轻量，实际应用受到限制。本文提出一种轻量级模型LGFN，用于LF图像SR，集成不同视角的局部与全局特征以及不同通道的特征。具体而言，由于同一像素位置在不同子孔径图像中的相邻区域显示相似的结构关系，我们设计了基于轻量级CNN的特征提取模块（即DGCE），通过特征调制更好地提取局部特征。同时，由于光场图像中超出边界的位置呈现较大差异，我们提出了高效空间注意力模块（即ESAM），使用可分解大卷积核获得扩大的感受野，以及高效通道注意力模块（即ECAM）。与参数较大的现有LF图像SR模型相比，我们的模型参数为0.45M，FLOPs为19.33G，实现了具竞争力的效果。通过大量实验和消融研究，证明了我们方法的有效性，该模型在NTIRE2024光场图像超分辨率挑战赛中Track 2的保真度与效率排名第二，在Track 1的保真度排名第七。
引用
@article{arxiv.2409.17759,
title = {LGFN: Lightweight Light Field Image Super-Resolution using Local Convolution Modulation and Global Attention Feature Extraction},
author = {Zhongxin Yu and Liang Chen and Zhiyun Zeng and Kunping Yang and Shaofei Luo and Shaorui Chen and Cheng Zhong},
journal= {arXiv preprint arXiv:2409.17759},
year = {2024}
}
备注
10 pages, 5 figures