中文

LMQFormer:一种用于轻量级除雪的拉普拉斯先验引导掩码查询 Transformer

计算机视觉与模式识别 2023-04-07 v4

摘要

除雪旨在定位积雪区域并恢复无修复痕迹的干净图像。与雨的规律性与半透明性不同,具有多种形态与退化的雪严重遮挡背景。因此,最先进的除雪方法通常保留较大的参数量。本文提出一种轻量且高效的除雪网络,称为拉普拉斯掩码查询 Transformer(LMQFormer)。首先,我们提出 Laplace-VQVAE 生成粗掩码作为雪的先验知识。相较于使用数据集中的掩码,我们旨在降低雪的信息熵与恢复的计算成本。其次,我们设计掩码查询 Transformer(MQFormer)利用粗掩码除雪,其中采用两个并行编码器与混合解码器在轻量需求下学习广泛的雪特征。第三,我们开发复制掩码查询注意力(DMQA),将粗掩码转换为特定数量的查询,以缩减的参数约束 MQFormer 的注意力区域。在流行数据集上的实验结果证明了我们所提模型的效率,其以显著减少的参数量与最低运行时间实现了最先进的除雪质量。

关键词

引用

@article{arxiv.2210.04787,
  title  = {LMQFormer: A Laplace-Prior-Guided Mask Query Transformer for Lightweight Snow Removal},
  author = {Junhong Lin and Nanfeng Jiang and Zhentao Zhang and Weiling Chen and Tiesong Zhao},
  journal= {arXiv preprint arXiv:2210.04787},
  year   = {2023}
}

备注

11 pages, 13 figures