尺度不变的高斯导数残差网络

跨图像尺度的泛化仍是深度网络的根本挑战之一，这些网络常常无法处理训练时未出现的尺度（即分布外问题）。本文提出了 provably scale-invariant 的高斯导数残差网络 (GaussDerResNets)，由基于尺度协变量高斯导数残差块级联构建，旨在解决这一问题。通过在先前的高斯导数层上添加残差跳过连接，可以构建更深的网络，准确率显著提高，同时保持良好的尺度泛化特性。提供了关于在任意维度中尺度协变量和尺度不变性属性的明确证明。为分析 GaussDerResNets 泛化到新尺度的能力，我们将其应用于新调整的 STL-10 数据集，该数据集在单个固定尺度上进行训练，并在多个测试集副本的每个副本上进行评估，每个副本被调整到单个 distinct 空间尺度，尺度因子范围覆盖 4。我们还在调整后的 Fashion-MNIST 和 CIFAR-10 数据集上进行类似的系统实验。实验结果表明，GaussDerResNets 在所有三个调整后的数据集上都具有强大的尺度泛化和尺度选择特性。在消融研究中，我们检讨了 GaussDerResNets 的不同架构变体，表明以深度可分离卷积构建架构可以显著降低参数数量和计算量，同时保持合理的准确率和尺度泛化。