提升上采样过程中的特征稳定性——频谱伪影与空间上下文的重要性

逐像素预测在图像复原、图像分割或视差估计等多种任务中是必需的。常见模型包含若干次数据重采样阶段，其中特征图分辨率先被降低以聚合信息，再被提高以生成高分辨率输出。已有工作表明，重采样操作会受到混叠等伪影的影响。下采样时，混叠会损害图像分类器的预测稳定性。上采样时，它们被借以检测生成内容。然而，上采样过程中的混叠对逐像素预测的稳定性和鲁棒性的影响尚未被讨论。尽管同属混叠这一术语，神经网络中正确上采样的挑战与下采样时有显著不同：下采样时，某些高频无法被正确表示，必须被移除以避免混叠；然而，当为逐像素预测而上采样时，我们实际上要求模型恢复那些无法在低分辨率中编码的高频。因此，信号处理结论的应用是实现理想输出的必要而非充分条件。相反，我们发现，上采样时充足的大范围空间上下文能够提供稳定、高质量的逐像素预测，即便完全学习所有滤波器权重也是如此。