极致之大：通过傅里叶域神经隐式函数学习无限大滤波器

近期图像分类神经网络的研究呈现出强烈的增加空间上下文的趋势。无论通过大卷积核还是自注意力实现，模型随空间上下文增大而扩展性很差，以至于准确率的提升往往伴随显著代价。本文提出一个用于研究卷积神经网络有效滤波器大小的模块。为促成此类研究，需解决若干挑战：1）我们需要一种在不增加可学习参数数量的前提下训练具有大滤波器（可能大到与输入数据相同）模型的有效手段；2）所采用的卷积操作应是即插即用的模块，可替换 CNN 中的常规卷积，并能在现有框架中高效实现；3）滤波器大小的研究须与网络宽度或可学习参数数量等其他方面解耦；4）卷积操作本身的计算代价须可控，即不能朴素地增大卷积核尺寸。为应对这些挑战，我们提出将滤波器权重的频率表示学习为神经隐式函数，从而利用卷积在频域中更好的可扩展性。此外，由于所提神经隐式函数的实现，即便大而具表达力的空间滤波器也可仅由少量可学习权重参数化。我们的分析表明，尽管所提网络可学习非常大的卷积核，但学到的滤波器在从频率域变换到空间域后实际上是良好局部化且相对较小的。我们预期这种对单独优化滤波器大小的分析将有助于未来构建更高效且仍具效力的模型。https://github.com/GeJulia/NIFF。