基于选择状态空间模型的视频湍流消除学习相位失真
计算机视觉与模式识别
2025-05-14 v2 图像与视频处理
摘要
大气湍流是长距离成像系统的主要图像退化来源。尽管已提出诸多基于深度学习的湍流消除 (TM) 方法，但许多方法速度慢、占用大量内存且难以泛化。在空间域，基于卷积算子的方法的感受野有限，无法处理湍流所需的大规模空间依赖。在时间域，依赖自注意力的方法在理论上可以利用湍流的幸运效果，但其二次复杂度使其难以扩展到大量帧。传统的循环聚合方法面临并行化挑战。本文提出了一种新的TM方法，基于两个概念：(1)基于选择状态空间模型 (MambaTM) 的湍流消除网络。MambaTM在空间和时间维度上每个层都具备全局感受野，同时保持线性计算复杂度。(2)学习到的潜在相位失真 (LPD)。LPD指导状态空间模型。不同于经典的赫尔赛姆基相位失真表征，新的LPD图独特地捕捉湍流的实际效应，显著提高模型估计退化程度的能力，通过降低问题的病态性。我们的方法在各种合成和真实世界TM基准测试中均超过当前的SOTA网络，推理速度也显著提升。
引用
@article{arxiv.2504.02697,
title = {Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation},
author = {Xingguang Zhang and Nicholas Chimitt and Xijun Wang and Yu Yuan and Stanley H. Chan},
journal= {arXiv preprint arXiv:2504.02697},
year = {2025}
}
备注
CVPR 2025 Highlight (extended), project page: https://xg416.github.io/MambaTM/