基于直方图 Transformer 的 adverse weather 图像恢复

基于 Transformer 的 adverse weather 图像恢复方法取得了显著进展。大多数方法沿通道维或在空间上固定范围的块内使用自注意力机制以减少计算负载。然而，这种妥协导致无法捕获长程空间特征。鼓励我们观察到，恶劣天气导致的退化因素主要引起类似的遮挡和亮度问题，本文提出一种高效直方图 Transformer（Histoformer）用于恢复受恶劣天气影响的图像。它由一种称为直方图自注意力的机制驱动，将空间特征按强度分为 bin，并在 bin 之间或每个 bin 内应用自注意力，以有选择地关注动态范围内的空间特征并处理长距离的相似退化像素。为提升直方图自注意力，我们提出了动态范围卷积，使常规卷积能够对类似像素进行操作而非邻居像素。我们还观察到，常用的像素级损失函数忽略了输出与 ground-truth 之间的线性关联和相关性。因此，我们提出利用皮尔逊相关系数作为损失函数，以强制恢复的像素遵循与 ground-truth 相同的顺序。大量实验表明，我们提出的方法在有效性和优越性方面具有优势。我们已在 GitHub 上发布代码。