移位窗口融合双注意力：用于镜面高光去除的多模型架构
计算机视觉与模式识别
2025-12-05 v1
摘要
实际环境中不可避免的镜面高光严重损害了视觉性能，从而降低了任务的有效性和效率。尽管存在大量聚焦于卷积神经网络模型的局部信息或Transformer模型的全局信息的方法，但单一类型模型在局部细粒度细节与全局长程依赖之间陷入建模困境，因此对不同尺度的镜面高光处理效果恶化。因此，为适应所有尺度的镜面高光，我们提出了一种用于镜面高光去除的多模型架构（MM-SHR），能够有效捕捉高光区域中的细粒度特征，并建模高光区域与高光无区域之间的长程依赖。具体而言，我们在MM-SHR的浅层使用卷积操作提取局部细节，在深层利用注意力机制捕捉全局特征，确保操作效率和去除精度。为在不损害计算复杂度的情况下建模长程依赖，我们采用由粗到细的方式，提出了全向注意力集成模块（OAIBlock）和自适应区域感知混合域双注意力卷积网络（HDDAConv），它们利用原始特征上的全向像素移位和窗口分割操作来实现镜面高光去除。在三个基准任务和六种表面材料上的广泛实验结果表明，MM-SHR在镜面高光去除的准确性和效率方面均优于现有最先进方法。代码将在 https://github.com/Htcicv/MM-SHR 公开发布。
引用
@article{arxiv.2512.04496,
title = {Shift-Window Meets Dual Attention: A Multi-Model Architecture for Specular Highlight Removal},
author = {Tianci Huo and Lingfeng Qi and Yuhan Chen and Qihong Xue and Jinyuan Shao and Hai Yu and Jie Li and Zhanhua Zhang and Guofa Li},
journal= {arXiv preprint arXiv:2512.04496},
year = {2025}
}