最大池化的理论表达能力

自深度神经网络成为最先进的图像分类器以来的十年间，存在一种减少使用最大池化（即取图像中邻近像素最大值的函数）的趋势。由于最大池化在早期图像分类器中占据突出地位，我们希望理解这一趋势及其是否合理。我们开发了一个理论框架，用于分析基于ReLU的对最大池化的近似，并证明了最大池化在某种意义下无法使用ReLU激活函数有效复现。我们分析了一类最优近似的误差，并发现虽然误差可以随核大小呈指数级减小，但这样做需要一个指数级复杂的近似。我们的工作为理解新架构中远离最大池化的趋势提供了理论基础。我们得出结论，最大池化与最优近似之间的主要差异原因——池内最大值与其他值之间普遍存在的巨大差异——可以通过其他架构决策来克服，或者在自然图像中并不普遍。