频域融合变换器用于图像填充
计算机视觉与模式识别
2025-06-24 v1
摘要
图像填充在恢复缺失图像区域和支持高层视觉任务中发挥着关键作用，但传统方法在处理复杂纹理和大范围遮挡方面困难。尽管Transformer方法已显示出强大的全局建模能力，但由于自注意力的低通特性，往往难以保留高频细节，且计算成本较高。为此，本文提出一种基于Transformer的图像填充方法，融合频域技术。具体而言，引入一种结合小波变换和 Gabor 滤波的注意力机制，以增强多尺度结构建模和细节保留。此外，设计一种基于快速傅里叶变换的可学习频域滤波器，以取代前馈网络，实现自适应噪声抑制和细节保留。该模型采用四级编码器-解码器结构，并由一种新颖的损失策略引导，以平衡全局语义和细节。实验结果表明，所提方法有效提升了图像填充质量，保留了更多高频信息。
引用
@article{arxiv.2506.18437,
title = {Frequency-Domain Fusion Transformer for Image Inpainting},
author = {Sijin He and Guangfeng Lin and Tao Li and Yajun Chen},
journal= {arXiv preprint arXiv:2506.18437},
year = {2025}
}