DeTurb：利用可变形3D卷积和3D Swin Transformer进行大气湍流缓解
计算机视觉与模式识别
2024-10-02 v2
摘要
远距离成像中的大气湍流由于空间和时间维度上的随机变化，显著降低了捕获场景的质量和保真度。这些畸变对从监控到天文学的各种应用构成了严峻挑战，需要鲁棒的缓解策略。虽然基于模型的方法取得了良好效果，但它们速度非常慢。深度学习方法在图像和视频恢复方面显示出前景，但一直难以有效处理这些时空变化的畸变。本文提出了一个新的框架，将几何恢复与增强模块相结合。使用具有可变形3D卷积的金字塔架构去除随机扰动和几何畸变，从而得到对齐的帧。然后，这些帧通过一个3D Swin Transformer的多尺度架构用于重建清晰、锐利的图像。所提出的框架在合成和真实大气湍流效应上均表现出优于现有技术的性能，同时具有合理的速度和模型大小。
引用
@article{arxiv.2407.20855,
title = {DeTurb: Atmospheric Turbulence Mitigation with Deformable 3D Convolutions and 3D Swin Transformers},
author = {Zhicheng Zou and Nantheera Anantrasirichai},
journal= {arXiv preprint arXiv:2407.20855},
year = {2024}
}