SwinShadow：用于不明确相邻阴影检测的移位窗口
计算机视觉与模式识别
2024-08-08 v1
摘要
阴影检测是许多计算机视觉应用中基础且具有挑战性的任务。直观地，大多数阴影源于物体自身对光线的遮挡，导致物体及其阴影相邻（本文称为相邻阴影）。在这种情况下，当物体颜色与阴影颜色相似时，现有方法难以实现准确检测。为解决此问题，本文提出了SwinShadow（Swin Transformer-based architecture），充分利用强大的移位窗口机制进行相邻阴影检测。该机制包含两个步骤：首先在单个窗口内应用局部自注意力，使网络能够关注局部细节；随后移动注意力窗口以实现跨窗口注意力，从而捕获更广泛的相邻信息。这些组合步骤显著提高了区分阴影与相邻物体的能力。整个过程分为三个部分：编码器、解码器和特征融合。在编码过程中，我们采用Swin Transformer获取层次化特征。在解码阶段，浅层我们提出深度监督（DS）模块以抑制误报并提升阴影特征的表示能力；深层我们利用双注意（DA）模块将局部窗口和移位窗口在一个阶段集成，以获得更大的感受野并增强信息连续性。最终，我们应用一种新的多层聚合（MLA）机制对解码特征进行融合以进行掩码预测。在三个阴影检测基准数据集SBU、UCF和ISTD上进行的大量实验表明，我们的网络在平衡错误率（BER）方面表现良好。
关键词
引用
@article{arxiv.2408.03521,
title = {SwinShadow: Shifted Window for Ambiguous Adjacent Shadow Detection},
author = {Yonghui Wang and Shaokai Liu and Li Li and Wengang Zhou and Houqiang Li},
journal= {arXiv preprint arXiv:2408.03521},
year = {2024}
}