用于光斑去除的双混合注意力网络

光斑去除在多媒体应用中发挥着关键作用，因为它提高了图像和视频的质量和可解释性，从而提升了下游任务如基于内容的检索、目标识别和场景理解的性能。尽管深度学习方法取得了显著进展，当前的研究方法常常依赖额外的先验或监督，限制了其实际应用性和泛化能力。本文提出了一种用于光斑去除的双混合注意力网络（DHAN-SHR），这是一种端到端网络，引入了新颖的混合注意力机制，在不依赖额外先验或监督的情况下有效捕获和处理不同尺度和域中的信息。DHAN-SHR 包含两个关键组件：自适应局部混合域双注意力转换器（L-HD-DAT）和自适应全局双注意力转换器（G-DAT）。L-HD-DAT 捕获局部通道间和像素间依赖关系，同时融合谱域特征，使网络能够有效建模光斑与底层表面属性之间的复杂相互作用。G-DAT 模型化全局通道间关系和长距离像素依赖，允许网络在整个图像上传递上下文信息，生成更连贯一致的无光斑结果。为评估 DHAN-SHR 的性能并促进该领域未来研究，本文构建了一个大规模基准数据集，包含多样化的图像，光斑程度各不相同。通过大量实验，我们展示了 DHAN-SHR 在定量和定性方面均优于 18 种最先进的方法，为多媒体应用中的光斑去除树立了新标准。