CRFormer：一种用于阴影去除的跨区域 Transformer
计算机视觉与模式识别
2022-07-05 v1
摘要
阴影去除旨在恢复图像中阴影区域的原始强度，并使其与剩余非阴影区域无缝兼容，这是一个非常具有挑战性的问题，有益于许多下游图像/视频相关任务。近来，Transformer 通过捕获全局像素交互在各种应用中展现出强大能力，而该能力在阴影去除中极为可取。然而，将 Transformer 用于促进阴影去除并非易事，原因如下两点：1) 由于阴影形状不规则，分块（patchify）操作不适用于阴影去除；2) 阴影去除仅需要从非阴影区域到阴影区域的单向交互，而非图像中所有像素之间常见的双向交互。本文中，我们提出一种新颖的跨区域 Transformer，即 CRFormer，用于阴影去除，它与现有 Transformer 的不同之处在于仅考虑从非阴影区域到阴影区域的像素交互，而不将图像分割为块。这通过精心设计的区域感知交叉注意力操作实现，该操作可根据非阴影区域特征聚合恢复后的阴影区域特征。在 ISTD、AISTD、SRD 和 Video Shadow Removal 数据集上的大量实验证明了我们的方法相较于其他最先进方法的优越性。
引用
@article{arxiv.2207.01600,
title = {CRFormer: A Cross-Region Transformer for Shadow Removal},
author = {Jin Wan and Hui Yin and Zhenyao Wu and Xinyi Wu and Zhihao Liu and Song Wang},
journal= {arXiv preprint arXiv:2207.01600},
year = {2022}
}