Burstormer：基于 Transformer 的连拍图像复原与增强网络

在按下快门时，现代手持相机会快速连续捕获多张图像并将其合并以生成单张图像。然而，连拍中的单帧由于不可避免的运动而未对齐，并包含多种退化。挑战在于正确对齐连续的拍摄图像并融合其互补信息以获得高质量输出。为此，我们提出 Burstormer：一种基于 Transformer 的新型架构，用于连拍图像复原与增强。与现有工作相比，我们的方法利用多尺度局部与非局部特征来实现改进的对齐与特征融合。我们的核心思想是在连拍邻域内实现帧间通信以进行信息聚合与渐进融合，同时对连拍全局上下文进行建模。然而，在融合信息之前，输入连拍帧需要被正确对齐。因此，我们提出一种增强的可变形对齐模块，用于参照参考帧对齐连拍特征。与现有方法不同，所提出的对齐模块不仅对齐连拍特征，还通过所提出的基于参考的特征增强机制交换特征信息并与参考帧保持聚焦通信，这有助于处理复杂运动。经过多级对齐与增强后，我们使用循环连拍采样模块再次强调连拍内的帧间通信。最后，使用所提出的连拍特征融合模块聚合帧间信息，随后进行渐进上采样。我们的 Burstormer 在连拍超分辨率、连拍去噪和连拍低光增强上优于最先进的方法。我们的代码与预训练模型可在 https://github.com/akshaydudhane16/Burstormer 获取。