面向极化图像融合的亮度感知多尺度网络及多场景数据集
计算机视觉与模式识别
2026-04-03 v2
摘要
极化图像融合将S0与DOLP图像进行融合，通过互补纹理特征揭示表面粗糙度和材料特性，广泛应用于伪装识别、组织病理分析、表面缺陷检测等领域。为整合不同极化图像在复杂亮度环境下的互补信息，我们提出亮度感知多尺度网络（MLSN）。在编码器阶段，我们通过亮度分支提出多尺度空间权重矩阵，动态将亮度注入特征图，解决极化图像固有对比度差异问题。在瓶颈层设计全局-局部特征融合机制，进行窗口自注意力计算，通过残差连接在特征维度重构阶段平衡全局上下文与局部细节。在解码器阶段，我们提出亮度增强模块，建立亮度分布与纹理特征之间的映射关系，实现融合结果的非线性亮度校正。我们还构建了MSP数据集，包含1000对覆盖17种室内外复杂光照场景的极化图像，提供四方向极化原始图，解决极化图像融合领域高质量数据稀缺问题。在MSP、PIF和GAND数据集上进行大量实验表明，所提MLSN在主观和客观评估方面优于当前最先进方法，MS-SSIM和SD指标分别比其他方法提升8.57%、60.64%、10.26%、63.53%、22.21%和54.31%。源代码和数据集已公开于https://github.com/1hzf/MLS-UNet。
引用
@article{arxiv.2510.24379,
title = {A Luminance-Aware Multi-Scale Network for Polarization Image Fusion with a Multi-Scene Dataset},
author = {Zhuangfan Huang and Xiaosong Li and Gao Wang and Tao Ye and Haishu Tan and Huafeng Li},
journal= {arXiv preprint arXiv:2510.24379},
year = {2026}
}