当语义分割遇到频率混叠

尽管语义分割最近取得了进展，但难以分割的像素在哪里以及是什么仍然很大程度上未被探索。现有研究仅将图像分离为简单和困难区域，并凭经验观察到后者与物体边界相关。在本文中，我们对困难像素误差进行了全面分析，将其分为三类：错误响应、合并错误和位移。我们的发现揭示了困难像素与混叠之间的定量关联，混叠是下采样期间傅里叶域中频率分量重叠引起的失真。为了确定导致混叠的频率，我们建议使用等效采样率来计算奈奎斯特频率，该频率标志着混叠的阈值。然后，我们引入混叠分数作为量化混叠程度的指标。虽然与提出的混叠分数呈正相关，但这三种类型的困难像素表现出不同的模式。在此，我们提出了两个新颖的去混叠滤波器（DAF）和频率混合模块，通过精确去除或调整高于奈奎斯特频率的频率来缓解混叠退化。DAF 在下采样之前精确去除导致混叠的频率，而 FreqMix 在编码器块内动态选择高频分量。实验结果表明，语义分割和低光实例分割任务均取得了一致的改进。代码可在以下网址获取：https://github.com/Linwei-Chen/Seg-Aliasing。