PAC-FNO：用于识别低质量图像的并行结构全组件傅里叶神经算子

开发图像识别模型的标准做法是在特定图像分辨率上训练模型然后部署。然而，在现实世界推理中，模型经常遇到分辨率不同于训练集或受天气变化、噪声类型和压缩伪影等自然变化影响的图像。虽然传统解决方案涉及针对不同分辨率或输入变化训练多个模型，但这些方法计算成本高昂，因此在实践中难以扩展。为此，我们提出了一种新型神经网络模型——并行结构全组件傅里叶神经算子（PAC-FNO），以解决该问题。与传统的前馈神经网络不同，PAC-FNO 在频域中运行，使其能够在单个模型内处理不同分辨率的图像。我们还提出了一种两阶段算法，只需对原始下游模型进行最小修改即可训练 PAC-FNO。此外，所提出的 PAC-FNO 可直接与现有的图像识别模型配合使用。通过在七个图像识别基准上广泛评估该方法，我们表明所提出的 PAC-FNO 将现有基线模型在各种分辨率图像上的性能提高了高达 77.1%，并提升了在推理过程中对各种类型自然变化图像的性能。